CN107710275A - 电子装置、电子装置控制方法和程序 - Google Patents

电子装置、电子装置控制方法和程序 Download PDF

Info

Publication number
CN107710275A
CN107710275A CN201780002150.8A CN201780002150A CN107710275A CN 107710275 A CN107710275 A CN 107710275A CN 201780002150 A CN201780002150 A CN 201780002150A CN 107710275 A CN107710275 A CN 107710275A
Authority
CN
China
Prior art keywords
shape
coordinate
electronic installation
distance
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780002150.8A
Other languages
English (en)
Inventor
大木光晴
古江伸树
大木嘉人
东山恵祐
渡边正浩
城坚诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107710275A publication Critical patent/CN107710275A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)

Abstract

在用于拍摄图像的电子装置中可以精确地识别图像中的字符。电子装置包括摄像部、距离测量部、形状推定部和坐标转换部。摄像部对物体摄像，并拍摄图像数据。距离测量部测量测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离。形状推定部根据测量的所述距离来推定所述物体的形状。坐标转换部对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。

Description

电子装置、电子装置控制方法和程序
技术领域
本发明涉及电子装置、控制该电子装置的方法和用于使计算机执行该方法的程序。具体地，本发明涉及用于执行字符识别的电子装置、控制该电子装置的方法和使计算机执行该方法的程序。
背景技术
在过去使用名为光学字符识别(OCR)的技术，以利用信息处理装置提取印刷品上记载的字符并对字符进行处理。例如，提出了使用车载摄像机对道路上的标志进行成像并通过OCR读取标志中记载的字符以进行翻译的***(参见专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请特开第2003-323693号
发明内容
技术问题
在上述常规技术中，通过光学字符识别来识别标志中记载的字符的含义。然而，在上述常规技术中，存在如下问题：在从车载摄像机观察时弯曲的表面或倾斜的表面上记载有字符的情况下，字符的形状是扭曲的，并且不能精确地执行光学字符识别。
鉴于上述情况提出本发明，并且本发明的目的是在用于捕捉图像的电子装置中精确地识别图像中的字符。
技术方案
为解决上述问题而提出本发明。在本发明的第一方面中，提供了电子装置、用于控制该电子装置的方法和用于使计算机执行该方法的程序，所述电子装置包括：摄像部，其对物体摄像，并拍摄图像数据；距离测量部，其测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；形状推定部，其根据测量的所述距离来推定所述物体的形状；和坐标转换部，其对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
另外，在第一方面中，所述电子装置还可包括字符识别部，所述字符识别部在经过所述坐标转换的所述图像数据中识别所述物体的表面上的字符。由此，产生了识别字符的效果。
另外，在第一方面中，所述电子装置还可包括照射部，所述照射部执行照射光的照射，其中，所述距离测量部根据所述照射光的反射光和所述照射光之间的相位差来测量所述距离。由此产生了根据反射光和照射光之间的相位差测量距离的效果。
另外，在第一方面中，所述摄像部可以用于拍摄所述图像数据的处理以及用于接收所述照射光的处理。由此产生了在同一个摄像部中拍摄图像数据并接收照射光的效果。
另外，在第一方面中，所述照射部可以执行作为所述照射光的脉冲光的照射，所述脉冲光同步于预定的周期信号。由此，产生了执行脉冲光的照射的效果。
另外，在第一方面中，所述照射部可以根据预定的操作来选择点状光和扩散光中的任一者，且执行作为所述照射光的光的照射，并且在执行所述扩散光的照射时，所述距离测量部测量所述距离。由此，产生了执行点状光或扩散光的照射的效果。
另外，在第一方面中，在预定的按钮被半程按下的情况下，所述照射部可以开始所述照射光的照射，并且在所述预定的按钮被全程按下的情况下，所述摄像部可以拍摄所述图像数据。由此，产生了根据按钮的操作执行照射光的照射以及摄像。
另外，在第一方面中，所述电子装置可以是安装到可穿戴式终端的摄像机单元。由此，产生了在摄像机单元中将物体表面上的三维坐标转换为参考平面上的平面坐标的效果。
另外，在第一方面中，所述形状推定部基于所述距离将多个候选形状中的任一者推定为所述物体的形状。由此，产生了将多个候选形状中的任一者推定为物体的形状的效果。
另外，在第一方面中，形状推定部可以包括：坐标检测部，其基于所述距离来检测所述多个测量点的坐标，以作为测量坐标；函数获取部，其针对所述多个候选形状中的每一者，通过使用所述测量坐标来获取用于表示该候选形状的坐标和预定参考坐标系的坐标之间的关系的函数；误差计算部，其基于获取的所述函数以及所述测量坐标，计算在针对所述多个候选形状的中的每一者假定所述物体的形状时的误差；和推定处理部，其将所述多个候选形状中的具有最小误差的形状推定为所述物体的形状。由此，产生了将多个候选形状中的具有最小误差的形状推定为物体的形状的效果。
另外，在第一方面中，所述图像数据包括多个像素数据，所述摄像部包括相位差检测像素和普通像素，所述相位差检测像素检测两个瞳孔分割图像之间的相位差，所述普通像素对光执行光电转换并产生所述多个像素数据中的任一者，并且所述距离测量部基于由所述相位差检测像素检测的所述相位差来测量所述距离。由此，产生了基于由相位差检测像素检测的相位差测量距离的效果。
有益效果
根据本发明，可以产生在拍摄图像的电子装置中能够精确地识别图像中的字符的最佳效果。注意，此处所描述的效果没有必要是限制性的，并且可以产生本文中描述的效果中的任一者。
附图说明
图1是示出本发明的第一实施例中的电子装置的构造示例的框图。
图2是示出本发明的第一实施例中的三维形状推定部的构造示例的框图。
图3是示出本发明的第一实施例中的距离信息的示例的图。
图4是示出本发明的第一实施例中的测量坐标的示例的图。
图5是示出本发明的第一实施例中的参数的示例的图。
图6是示出本发明的第一实施例中的摄像器件的构造示例的框图。
图7是示出本发明的第一实施例中的像素电路的构造示例的框图。
图8是示出本发明的第一实施例中的坐标转换部的构造示例的框图。
图9是示出本发明的第一实施例中的激光的形状的示例的图。
图10是示出本发明的第一实施例中的Q1Q2检测时段内的像素电路的曝光控制的示例的时序图。
图11是示出本发明的第一实施例中的Q3Q4检测时段内的像素电路的曝光控制的示例的时序图。
图12是示出本发明的第一实施例中的摄像时段内的像素电路的曝光控制的示例的时序图。
图13是示出本发明的第一实施例中的参考坐标系和平面坐标系之间的关系的示例的图。
图14是示出本发明的第一实施例中的参考坐标系和柱坐标系之间的关系的示例的图。
图15是示出本发明的第一实施例中的电子装置的在拍摄倾斜平面时的使用场景的示例的图。
图16是示出本发明的第一实施例中的平面形状、转换前后的图像和翻译结果的示例的图。
图17是示出本发明的第一实施例中的电子装置的在拍摄圆柱时的使用场景的示例的图。
图18是示出本发明的第一实施例中的柱形状、转换前后的图像和翻译结果的示例的图
图19是示出本发明的第一实施例中的电子装置的操作的示例的流程图。
图20是示出本发明的第一实施例的变形示例中的摄像***的构造示例的框图。
图21是示出本发明的第一实施例的变形示例中的摄像***的外观的示例。
图22是示出本发明的第二实施例中的电子装置的构造示例的框图。
图23是示出本发明的第二实施例中的摄像器件的构造示例的框图。
图24是示出本发明的第二实施例中的电子装置的操作的示例的流程图。
具体实施方式
在下文中将说明用于实施本发明的方式(在下文中称为实施例)。将以如下顺序进行说明：
1.第一实施例(推定形状并执行坐标转换的示例)
2.第二实施例(基于利用相位差检测像素的距离测量的结果来推定形状并执行坐标转换的示例)
<1.第一实施例>
[电子装置的构造示例]
图1是示出第一实施例中的电子装置100的构造示例的框图。电子装置100包括操作部111、控制部112、激光照射部113、***和移除部114、扩散板115、三维形状推定部200、距离测量部116、开关117和摄像器件300。另外，电子装置100还包括摄像透镜118、坐标转换部400、光学字符识别部119、翻译处理部120和声音输出部121。
操作部111根据用户对按钮或开关的操作来产生操作信号。例如，电子装置100设置有能够被两级按下的按钮。操作部111产生用于表示按钮未被按下的状态、按钮被半程按下的状态和按钮被全程按下的状态中的任一者的操作信号，并将该操作信号提供至控制部112。
在控制部112的控制下，激光照射部113利用具有方向性的可见光(红色光等)作为激光在预定方向上进行照射。例如，将激光施加在大致平行于摄像透镜118的光学轴线方向的方向上。注意，激光照射部113是权利要求中描述的照射部的示例。
在控制部112的控制下，***和移除部114执行将扩散板115***在激光的光路中的处理或者将扩散板115从光路中移除的处理。***和移除部114通过装入诸如电动机等致动器(actuator)实现。
扩散板115扩散激光。在***扩散板115之前，激光的形状为点状。另一方面，在***扩散板115之后，激光被扩散，并且例如变成圆形。注意，扩散后的激光的形状不限于圆形，并且可以是线形或者可以是三角形。
另外，可以通过使用例如类似于由山业株式会社(SANWA SUPPLYINC.)生产的激光指示器LP-RD312BKN或由国誉株式会社(KOKUYOCo.,Ltd.)生产的激光指示器ELP-G20作为激光照射部113的聚光指示器来实现激光的形状的切换。
摄像透镜118聚集光，并将光引导至摄像器件300。在控制部112的控制下，摄像器件300对物体进行摄像，并产生图像数据。在摄像器件300中设置有以二维网格的方式排列的多个像素。每个像素生成具有与接收的光量对应的电平的像素数据。摄像器件300将包括这些像素数据的图像数据提供到开关117。注意，摄像透镜118和摄像器件300是权利要求中描述的摄像部的示例。
在控制部112的控制下，开关117切换来自摄像器件300的图像数据的输出目的地。开关117将图像数据输出到距离测量部116和坐标转换部400中的任一者。
在控制部112的控制下，距离测量部116测量从摄像器件300至物体上的多个测量点的距离。此处，测量点是被扩散后的激光照射的点。距离测量部116基于施加的激光和该施加的激光的反射光之间的相位差来测量距离。这种距离测量方法被称为飞行时间(ToF：Time of Flight)法。距离测量部116将用于表示每个测量点的距离的距离信息提供到三维形状推定部200。
三维形状推定部200基于距离信息来推定物体的形状。三维形状推定部200将与所推定的物体形状相关的参数提供到坐标转换部400。在下文中将详细说明这些参数。注意，三维形状推定部200是权利要求中描述的形状推定部的示例。
坐标转换部400通过利用来自三维形状推定部200的参数对图像数据执行预定的坐标转换。坐标转换是将被激光照射的物体的表面上的坐标转换为预定的参考平面上的坐标的处理。例如，将平行于摄像器件300的摄像平面的平面用作参考平面。坐标转换部400将坐标转换后的图像数据提供至光学字符识别部119。
控制部112控制整个电子装置100。当预定的按钮被半程按下时，控制部112控制激光照射部113以使其开始利用激光进行连续照射。另外，控制部112使***和移除部114移除扩散板115。
然后，当然后按钮被全程按下时，控制部112控制激光照射部113以使其利用激光进行间歇照射。例如，控制部112将矩形波或者正弦波的光发射控制信号CLKp提供到激光照射部113，并且激光照射部113发射同步于该信号的光。通过该控制来施加具有例如20兆赫兹(MHz)的频率的脉冲光。
另外，当按钮被全程按下时，控制部112使***和移除部114***扩散板115。另外，控制部112控制摄像器件300以使其拍摄图像数据。然后，控制部112控制开关117以使其将图像数据提供至距离测量部116，并使距离测量部116在固定的距离测量时段内测量距离。
在经过距离测量时段之后，控制部112控制摄像器件300以使其再次拍摄图像数据。另外，控制部112控制开关117以使其将图像数据提供到坐标转换部400。
光学字符识别部119对图像数据执行OCR。光写字符识别部119将OCR结果提供到翻译处理部120。
翻译处理部120执行将包括由OCR识别的字符的文本的语言(日语等)替换为另一预定语言(英语等)的翻译处理。翻译处理部120将翻译处理结果提供至声音输出部121。声音输出部121利用声音输出翻译处理部120的翻译结果。
注意，尽管在一个装置(电子装置100)中设置有诸如激光照射部113和摄像元件300等部件，但这些部件也可以分散地设置在多个装置中。例如，激光照射部113、***和移除部114和扩散板115可以设置在电子装置100的外部的激光指示器单元中。另外，光学字符识别部119和翻译处理部120可以设置在电子装置100的外部的信息处理装置上。在这种情况下，电子装置100只需要将图像数据和字符信息发送到该信息处理装置并接收OCR结果或翻译结果。
另外，尽管电子装置100执行OCR，但电子装置100也可以执行图像数据的OCR之外的处理。例如，电子装置100可以执行用于识别特定物体(脸部等)或者二维条码的处理，以代替OCR。另外，尽管电子装置100利用声音来输出翻译结果，但也可以将翻译的结果显示在诸如液晶监视器等显示部上。
[三维形状推定部的构造示例]
图2是示出第一实施例中的三维形状推定部200的构造示例的框图。三维形状推定部200包括测量坐标保存部210、测量坐标检测部220、距离信息保存部230、最小二乘法计算部240、参数保存部250、误差计算部260和参数提供部270。
距离信息保存部230保存用于表示由距离测量部116测量的每个测量点的距离的距离信息。
测量坐标检测部220基于距离信息来检测每个测量点在预定的参考坐标系中的三维坐标，以作为测量坐标。对于参考坐标系，例如，使用包括平行于摄像器件300的摄像平面的X0轴和Y0轴以及垂直于该摄像平面的Z0轴的坐标系。测量坐标检测部220提前获取由扩散后的激光的方向和预定的参考轴(如X0、Y0和Z0轴)限定的角度，并且基于角度和测量距离利用三角函数来计算每个测量点的测量坐标。测量坐标检测部220使测量坐标保存部210保存每个测量点的测量坐标。在下文中，测量点的数量由N表示(N是2以上的整数)，并且第i(i是从0到N-1的整数)个测量点的测量坐标由(x0i,y0i,z0i)表示。
最小二乘法计算部240通过使用最小二乘法为多个候选形状中的每个候选形状计算最适合测量坐标组的函数。多个候选形状包括例如柱形状以及相对于参考平面倾斜的平面形状。另外，此处，通过计算获得的函数是用于表示候选形状的坐标系中的坐标和参考坐标系中的坐标之间的关系的函数。
这里，在假定包括彼此正交的Xp轴、Yp轴和Zp轴的坐标系是倾斜平面上的平面坐标系的情况下，例如通过以下表达式来表示平面坐标系中的坐标和参考坐标系中的坐标之间的关系。
在上述表达式中，(xpi,ypi,zpi)表示平面坐标系中的坐标。另外，Rp表示旋转矩阵，并由以下表达式表示。
Rp＝Rxp·Ryp·Rzp
在上述表达式中，Rxp表示围绕x0轴旋转角度trxp时的旋转矩阵。另外，Ryp表示围绕y0轴旋转角度tryp时的旋转矩阵，并且Rzp是围绕z0轴旋转角度trzp时的旋转矩阵。
另外，Tp表示包括x0分量、y0分量和z0分量的平移向量。这些x0分量、y0分量和z0分量的值由A、B和C表示。
当测量点位于Xp-Yp平面上时，测量点的坐标的Zp分量应当为0。由此，当Zp分量不为0时，将该分量视为误差。通过如下表达式来获得在平方误差的总和Ep为最小时的Rp和Tp。
为了求解上述表达式，例如，使用了利用trxp、tryp、trzp、A、B、和C对上述表达式的两边进行偏微分的偏微分法。
下面，在假定包括彼此正交的Xc轴、Yc轴和Zc轴的坐标系是作为圆柱的柱坐标系的情况下，例如通过如下表达式来表示柱坐标系中的坐标和参考坐标系中的坐标之间的关系。
在上述表达式中，(xci,yci,zci)表示柱坐标系中的坐标。另外，Rc表示旋转矩阵并且由以下表达式表示。
Rc＝Rxc·Ryc·Rzc
在上述表达式中，Rxc表示围绕x0轴旋转角度trxc时的旋转矩阵。另外，Ryc表示围绕y0轴旋转角度tryc时的旋转矩阵，并且Rzc是围绕z0轴旋转角度trzc时的旋转矩阵。r是圆柱的半径。
另外，Tc表示包括x0分量、y0分量和z0分量的平移向量。这些x0分量、y0分量和z0分量的值由D、E和F表示。
在假定r是圆柱的半径的情况下，当测量点位于圆柱的表面上时，测量点的Xc和Zc坐标的平方的总和应当等于r的平方。由此，当它们之间的差值不为0时，将该差值视为误差。通过如下表达式来获得在平方误差的总和Ec为最小时的Rc、Tc和r。
为了求解上述表达式，例如，使用了利用trxc、tryc、trzc、D、E、和F对上述表达式的两侧进行偏微分的偏微分法。
最小二乘法计算部240使参数保存部250保存所获得的Rp和Tp的参数组以及Rc、Tc和r的参数组。
针对每个候选形状，通过使用对应于该候选形状的参数，误差计算部260计算在假定该形状时的误差。例如，误差计算部260通过使用表达式2和4来计算对应于倾斜平面形状的平方误差的总和Ep和对应于柱形状的平方误差的总和Ec，并且将总和Ep和Ec提供到参数提供部270。
参数提供部270基于误差将多个候选形状中的任一者推定为实际物体的形状。参数提供部270将平方误差的总和Ep和平方误差的总和Ec相互比较，并且将与具有较小值的误差对应的形状推定为物体的形状。然后，参数提供部270从参数保存部250读取对应于该形状的参数组，并且将该参数组与所推定的形状的识别信息一起提供至坐标转换部400。注意，参数提供部270是权利要求中描述的推定处理部的示例。
注意，为了推定形状，三维形状推定部200假定了两种形状，即平面形状和柱形状，但是候选形状的种类不限于此。候选形状可以是例如球形状或立方形状。另外，候选形状的数量不限于两种并且可以是三种以上。在候选形状的数量是三种以上时，参数提供部270将具有最小误差的候选形状推定为物体的形状。
图3是示出第一实施例中的距离信息的示例的图。对于每个测量点，距离信息包括从摄像透镜118到测量点的距离。例如，在至测量点P1的距离为100米并且至测量点P2离为102米的情况下，三维形状推定部200将对应于P1的“100”和对应于P2的“102”保存到距离信息保存部230中。
图4是示出第一实施例中的测量坐标的示例的图。对于每个测量点，基于至测量点的距离以及激光照射角度来计算X0轴、Y0轴和Z0轴上的测量坐标。作如下假定：测量点P1处的X0坐标、Y0坐标和Z0坐标分别被计算为50、50和51，并且测量点P2处的X0坐标、Y0坐标和Z0坐标分别被计算为50、51和51。在这种情况下，三维形状推定部200将对应于测量点P1的测量坐标(50，50，51)和对应于测量点P2的测量坐标(50，51，51)保存到测量坐标保存部210中。
图5是示出第一实施例的参数的实施例的图。对应于平面形状的表达式1的函数包括旋转矩阵Rp和平移向量Tp的参数。对应于柱形状的表达式2的函数包括旋转矩阵Rc、平移向量Tc和半径r的参数。三维推定部200通过最小二乘法计算这些参数，并将这些参数保存到参数保存部250中。
[摄像器件的构造示例]
图6是示出第一实施例中的摄像器件300的构造示例的框图。摄像器件300包括行扫描电路310、像素阵列部320、时序控制部340、多个AD(模拟到数字)转换部350、列扫描电路360和信号处理部370。像素阵列部320包括以二维网格的方式设置的多个像素电路330。在下文中，将排列在预定的方向上的像素电路330的集合称为“行”，并且将排列在垂直于行的方向上的像素电路330的集合称为“列”。针对每一列设置有上述的AD转换部350。
时序控制部340以同步于垂直同步信号的方式控制行扫描电路310、AD转换部350和列扫描电路360。
行扫描电路310使所有的行同时曝光，并在曝光结束后顺序地选择行，以使行输出像素信号。在行扫描电路310的控制下，像素电路330输出均具有对应于所接收的光量的电平的像素信号。
AD转换部350均对来自与其对应的行的像素信号进行AD转换。在列扫描电路360的控制下，AD转换部350将经过AD转换的像素信号作为像素数据输出到信号处理部370。列扫描电路360顺序地选择AD转换部350，并使AD转换部350输出像素数据。
信号处理部370对包括像素数据的图像数据执行诸如相关双采样(CDS：Correlated Double Sampling)处理等信号处理。信号处理部370将已经进行信号处理后的图像数据提供到开关117。
[像素电路的构造示例]
图7是示出第一实施例中的像素电路330的构造示例的框图。像素电路330包括光接收元件331、传输开关332、电荷存储部333和334以及选择器开关335和336。
光接收元件331对光执行光电转换，并产生电荷。例如，对于光接收元件331，使用光电二极管。
在行扫描电路310的控制下，传输开关332使光接收元件331连接到电荷存储部333、电荷存储部334和复位电源Vrst中的任一者。传输开关332通过例如多个金属氧化物半导体(MOS)晶体管来实现。当光接收元件331连接到复位电源Vrst时，消除了从MOS晶体管的漏极输出的电荷，并初始化光接收元件331的电荷。
电荷存储部333和334存储电荷，并产生对应于所存储的电荷的量的电压。例如，对于电荷存储部333和334，使用浮动扩散层。
在行扫描电路310的控制下，选择器开关335打开和闭合电荷存储部333和AD转换部350之间的路径。在行扫描电路310的控制下，选择器开关336打开或者闭合电荷存储部334和AD转换部350之间的路径。例如，当通过行扫描电路310提供FD读取信号RD_FD1时，选择器开关335变为闭合状态，并且当通过行扫描电路310提供FD读取信号RD_FD2时，选择器开关336变为闭合状态。选择器开关335和336中的每一者通过例如MOS晶体管来实现。
[坐标转换部的构造示例]
图8是示出第一实施例中的坐标转换部400的构造示例的框图。坐标转换部400包括剪切处理部420、帧存储器410和地址转换部430。
在图像数据中，剪切处理部420剪切出具有预定形状(其例如为矩形，且包括被圆形激光环绕的部分)的区域。剪切处理部420使帧存储器410保存作为剪切区域被剪切的区域。帧存储器410保存该剪切区域。
针对剪切区域内的每个像素，地址转换部430将该像素的坐标转换为参考平面中的坐标。坐标转换部400接收被三维形状推定部200推定的形状的识别信息以及该形状的参数组。当该形状被推定为平面形状时，将表达式1的旋转矩阵Rp和平移向量Tp作为参数提供到坐标转换部400。同时，当形状被推定为三维形状时，将表达式2的旋转矩阵Rc、平移向量Tc和半径r作为参数提供至坐标转换部400。
当形状被推定为平面形状时，通过如下的利用参数Rp和Tp的表达式来表示摄像器件300上的坐标(ui,vi)和倾斜平面上的坐标(xei,yei)之间的位置关系。
在上述表达式中，f表示焦距。通过利用上述表达式，地址转换部430输出帧存储器410中保存的图像(剪切区域)中的坐标(ui,vi)的像素值，以作为参考平面上的坐标(xei,yei)的像素值。由此，地址转换部430可以产生面对摄像平面的图像。
同时，当形状被推定为柱形状时，通过如下的利用参数Rp、Tp和r的表达式来表示摄像器件300上的坐标(ui,vi)和柱形面上的坐标(xei,yei)之间的位置关系。
通过利用上述表达式，地址转换部430输出存储器410中保存的图像中的坐标(ui,vi)的像素值，以作为参考平面上的坐标(xei,yei)的像素值。由此，地址转换部430可以产生面对摄像平面的图像。
注意，坐标转换部400仅剪切被激光环绕的部分的***并且对其执行坐标转换，但也可以在不执行剪切的情况下对整个图像执行坐标转换。
图9是示出第一实施例中的激光的形状的示例的图。该图的部分a是示出当按钮被半程按下时激光的形状的示例的图。如该图的部分a所示，当按钮被半程按下时，在移除扩散板115的情况下施加点状激光500。
另外，图9的部分b是示出当按钮被全程按下时激光的形状的示例的图。如该图的部分b所示，当按钮被全程按下时，***扩散板115，并且施加圆形激光。用户调节被激光照射的位置，使得要被OCR处理的字符(例如价格标签上的字符等)落入激光的圆形中。
注意，在ToF方法中通常执行如下的表面照射，在该表面照射中，使用激光来照射将被执行距离测量的整个表面。然而，如果仅对要被OCR处理的部分执行距离测量，电子装置100不需要使用激光照射整个表面，并且仅使用激光照射该部分就足够了。当激光照射的范围变窄时，与在使用激光照射整个表面时相比，可抑制电子装置100消耗更多的能量。
另外，在ToF方法中通常使用非可见光(如红外光)来执行照射。然而，在电子装置100的假定使用场景中，用户需要在视觉上识别激光照射位置。因此，电子装置100使用诸如红色光等可见光执行照射。同样在使用可见光的情况下，通过ToF进行距离测量的原理类似于在红外光的情况下的距离测量的原理。
图10是示出第一实施例中的在Q1Q2检测时段内像素电路的曝光控制的示例的时序图。当按钮被全程按下时，像素电路330交替地重复接收光量Q1和Q2的检测并交替地重复接收光量Q3和Q4的检测。在下文中，将接收光量Q1和Q2的检测时段称为“Q1Q2检测时段”，并且将接收光量Q3和Q4的检测时段称为“Q3Q4检测时段”。Q1Q2检测时段和Q3Q4检测时段中的每者的长度是垂直同步信号VSYNC的周期(例如，1/60秒)。
这里，当将激光的光发射控制信号CLKp的特定相位(例如，上升沿)设置为0度时，接收光量Q1是在Q1Q2检测时段中从0度到180度接收的光量q1的积累量。光发射控制信号CLKp的频率高达20兆赫兹(MHz)，并且因此每周期(1/20微秒)接收的光量q1很小并且难以检测。由此，像素电路330在例如1/60秒(长于光发射控制信号CLKp的周期(1/20微秒))的Q1Q2检测时段内积累每个q1，并且检测q1的总量以作为接收光量Q1。另外，接收光量Q2是在Q1Q2检测时段中从180度到360度接收的光量q2的积累量。
另外，接收光量Q3是在Q3Q4检测时段中从90度到270度接收的反射光量q3的积累量。另外，接收光量Q4是在Q3Q4检测时段中从270度到90度接收的反射光量q4的积累量。
将这些接收光量Q1、Q2、Q3和Q4代入如下表达式中，距离测量部116因此可以计算出至测量点的距离d。例如，德克萨斯仪器公司(TexasInstruments Incorporated)的LarryLi在2014年1月发布的(2014年5月修订的)技术***SLOA190B的“Time-of-FlightCamera-An Introduction”中说明了用于推导该表达式的方法。
d＝(c/4πf)*tan-1{(Q3-Q4)/(Q1-Q2)}
在上述表达式中，例如，d表示距离，并且其单位是米(m)。例如，c表示光速，并且其单位是米每秒(m/s)。tan-1()表示正切函数的逆函数。
例如，在从时刻T1到时刻T2的Q1Q2检测时段中，检测该时段中的接收光量Q1和Q2。首先，行扫描电路310在从时刻T1开始的预定脉冲时段内将复位信号RST提供至所有行。通过复位信号RST初始化所有行中的电荷存储部333和334中存储的电荷量。另外，行扫描电路310利用FD选择信号SEL_FD初始化所有行中的光接收元件331的电荷。
然后，在Q1Q2检测时段中的光发射控制信号CLKp的周期内，针对所有行，行扫描电路310利用FD选择信号SEL_FD从0度到180度将由光接收元件331产生的电荷传输到电荷存储部333。通过该控制将接收的光量q1存储在电荷存储部333。
另外，在Q1Q2检测时段中的发射控制信号CLKp的周期内，针对所有行，行扫描电路310利用FD选择信号SEL_FD从180度到360度将由光接收元件331产生的电荷传输到电荷存储部334。通过该控制将接收的光量q2存储在电荷存储部334。
在紧邻时刻T2之前的时刻T11处，行扫描电路将FD读取信号RD_FD1和RD_FD2顺序地提供至第一行。通过该控制读取了对应于第一行的接收光量的像素信号。接着，行扫描电路310将FD读取信号RD_FD1和RD_FD2顺序地提供至第二行并且读取像素信号。此后，类似地，行扫描电路310顺序地选择行并且读取像素信号。
通过这种方式，在Q1Q2检测时段中，每个像素电路330检测从0度到180度的接收光量Q1和从180度到360度的接收光量Q2。
图11是示出第一实施例中的Q3Q4检测时段中的像素电路330的曝光控制的示例的时序图。例如，在从时刻T2到时刻T3的Q3Q4检测时段中，检测该时段的接收光量Q3和Q4。首先，行扫描电路310在从时刻T2开始的预定脉冲时段内将复位信号RST提供至所有行，并初始化所有行中的电荷存储部333和334中存储的电荷量。另外，行扫描电路310利用FD选择信号SEL_FD初始化所有行中的光接收元件331的电荷。
然后，针对所有行，行扫描电路310利用FD选择信号SEL_FD从初始的0度到90度将由光接收元件331产生的电荷传输到电荷存储部334。通过该控制将接收光量q4存储到电荷存储部334。此后，在光发射控制信号CLKp的周期内，针对所有行，行扫描电路310利用FD选择信号SEL_FD从90度到270度将由光接收元件331产生的电荷传输到电荷存储部333。通过该控制，将接收光量q3存储到电荷存储部333。
另外，在Q3Q4检测时段中的光发射控制信号CLKp的周期内，针对所有行，行扫描电路310利用FD选择信号SEL_FD从270度到90度将由光接收元件331产生的电荷传输到电荷存储部334。通过该控制，将接收光量q4存储到电荷存储部334。
在紧邻时刻T3之前的时刻T2处，行扫描电路310将FD读取信号RD_FD1和RD_FD2顺序地提供至第一行。通过该控制，读取对应于第一行的接收光量Q3和Q4的像素信号。此后，类似地，行扫描电路310顺序地选择行并且读取像素信号。
通过这种方式，在Q3Q4的检测时段中，每个像素电路330检测从90度到270度的接收光量Q3和从270度到90度的接收光量Q4。
图12是示出第一实施例中的摄像时段中的像素电路330的曝光控制的示例的时序图。首先，行扫描电路310在从时刻T3开始的预定的脉冲时段内将复位信号RST提供至所有行，并且初始化所有行中存储的电荷量。另外，行扫描电路310利用FD选择信号SEL_FD初始化每一行中的光接收元件331的电荷。
然后，针对所有行，行扫描电路310利用FD选择信号SEL_FD将由光接收元件331产生的电荷传输到电荷存储部333。之后，在紧邻时刻T4之前的时刻T31处，行扫描电路310将FD读取信号RD_FD1提供至第一行并且读取像素信号。接着，行扫描电路310将FD读取信号RD_FD1提供至第二行并且读取像素信号。此后，类似地，行扫描电路310顺序地选择行并且读取像素信号。由此，拍摄了图像数据。
图13是示出第一实施例中的参考坐标系和平面坐标系之间的关系的示例的图。如上所述，做如下的假定：使包括X0轴、Y0轴和Z0轴的参考坐标系旋转且平行地偏移Rp和Tp，从而获得包括Xp轴、Yp轴和Zp轴的平面坐标系。基于上述假定，在假定N个测量点(例如测量点502和测量点503)位于Xp-Yp平面510上的情况下，电子装置100计算平方误差的总和Ep。
图14是示出第一实施例中的参考坐标系和柱坐标系之间的关系的示例的图。如上所述，做如下假定：使包括X0轴、Y0轴和Z0轴的参考坐标系旋转且平行地偏移Rc和Tc，从而获得包括Xc轴、Yc轴和Zc轴的柱坐标系。基于上述假定，在假定N个测量点(例如测量点502和测量点503)位于圆柱511的表面上的情况下，电子装置100计算平方误差的总和Ec。
图15是示出第一实施例中的电子装置100的在拍摄倾斜平面时的使用场景的示例的图。该图的部分a是示出当将按钮被半程按下时激光的形状的示例的图。如该图的部分a所示，当将按钮被半程按下时，施加点状激光500。这里，电子装置100是例如棒形装置。用户用手抓握电子装置100，并且可以改变激光的方向。用户移动被激光500照射的点，并且在要被OCR处理的字符的位置处全程按下按钮。例如，当无骨鱼片设置有平面价格标签，并且通过OCR读取价格标签的字符时，用户将被激光照射的点移动到价格标签。价格标签的平面对应于图13的平面510。
图15的部分b是示出当按钮被全程按下时激光的形状的示例的图。如该图的部分b所示，当按钮被全程按下时，圆形激光501被施加于价格标签(平面510)。
图16是示出第一实施例中的平面形状、转换前后的图像和翻译结果的示例的图。该图的部分a是示出参考平面形状的示例的图。色阶代表深度。例如，假定了相对于摄像器件300的摄像平面倾斜的平面。
图16的部分b示出了所拍摄的图像数据中的被激光照射的部分的示例。尽管在价格标签中记载了“Salmon”和“100yen”的字符串，但是字符是扭曲的，这是因为价格标签平面不面对摄像平面。由此，按照这种情况，存在不能通过OCR准确地读取字符的风险。
在这方面，电子装置100将倾斜平面上的坐标转换为参考平面上的坐标。图16的c部分是坐标转换后的图像的示例。如该图的c部分所示，将不面对摄像平面的平面转换为面对摄像平面的参考平面，且字符的扭曲消失。电子装置100通过OCR读取转换后的图像中的字符并执行翻译。
图16的部分d是示出翻译结果的示例的图。将日语的“Salmon”和“100yen”翻译成英语的“Salmon”和“100yen”，并通过声音输出。
图17是示出第一实施例的电子装置100的在拍摄具有柱形状的物体时的使用场景的示例的图。该图的部分a是示出当将按钮被半程按下时的激光的形状的示例的图。例如，在标签附着在酒瓶的柱形部分是的情况下，并且意欲通过OCR读取标签的字符时，用户将被激光500照射的点移动到标签上。酒瓶的该柱形部分对应于图14的圆柱511。
图17的部分b是示出当按钮被全程按下时激光的形状的示例的图。如该图的部分b所示，当按钮被全程按下时，柱形激光501被施加到标签(圆柱511)。
图18是示出第一实施例中的柱形状、转换前后的图像和翻译结果的示例的图。该图的部分a和b分别是示出候选的柱形状的实施例的图。
图18的部分b示出了所拍摄的图像数据中的被激光照射的部分的示例。尽管标签中记载了“Antioxidant free nice wine”的字符串，但是由于标签的表面是弯曲的，因此字符是扭曲的。由此，按照这种情况，存在不能通过OCR准确地读取字符的风险。
在这方面，电子装置100将圆柱上的坐标转换为参考平面上的坐标。图18的c部分是坐标转换后的图像的示例。如该图的c部分所示，将圆柱的弯曲表面转换为参考平面，并且字符的扭曲消失。电子装置100通过OCR读取转换后的图像中的字符，并执行翻译。
图18的部分d是示出翻译结果的示例的图。将日语的“Antioxidant free nicewine”用翻译成英语的“Antioxidant free nice wine”，并且通过声音输出。
[电子装置的操作示例]
图19是示出第一实施例中的电子装置100的操作的示例的流程图。例如，当电子装置100被通电时，操作开始。电子装置100确定用户是否半程按下按钮(步骤S901)。当将按钮被半程按下时(步骤S901：是)，电子装置100移除扩散板(步骤S902)，并执行点状激光照射(步骤S903)。然后，电子装置100确定用户是否全程按下按钮(步骤S904)。
当按钮未被半程按下时(步骤S901：否)或者当按钮未被全程按下时(步骤S904：否)，电子装置100重复步骤S901和随后的步骤。
当按钮被全程按下时(步骤S904：是)，电子装置100***扩散板(步骤S905)，并且执行圆形激光照射及其反射光的接收(步骤S906)。电子装置100针对每个测量点通过ToF法执行距离测量(步骤S907)，并且基于测量的距离来推定物体的三维形状(步骤S908)。
然后，电子装置100对物体执行摄像(步骤S909)，并且对图像数据执行坐标转换(步骤S910)。电子装置100对坐标转换后的图像执行光学字符识别(步骤911)，并且执行翻译和声音输出(步骤S912)。在步骤S912之后，电子装置100结束针对OCR的操作。
通过这种方式，根据本发明的第一实施例，电子装置100基于至测量点的距离来推定物体的形状，并且基于该形状来执行坐标转换。由此，可以消除字符的扭曲并且增加OCR的精确性。
[变形示例]
在上述第一实施例中，棒形的电子装置100包括操作部111、摄像器件300等。然而，安装在可穿戴式终端上的摄像机单元可以设置有操作部111等。第一实施例的该变形示例中的摄像***与第一实施例的不同在于安装在可穿戴式终端上的摄像机单元设置有操作部111等。
图20是示出摄像***的构造示例的框图。摄像***包括可穿戴式终端150和摄像机单元101。另外，可穿戴式终端150包括操作部151和终端控制部152。另外，除了摄像机单元101包括摄像机单元控制部122和开关123以代替控制部112和开关117之外，摄像机单元101的构造类似于第一实施例的电子装置100的构造。注意，摄像机单元101是权利要求中描述的电子装置的示例。
操作部151根据用户对开关或者按钮的操作来生成操作信号。例如，执行用于拍摄图像数据的操作(例如，按下快门按钮)。操作部151将所产生的操作信号提供到终端控制部152。
终端控制部152控制整个可穿戴式终端150。终端控制部152将操作信号提供至摄像机单元控制部122，并且从摄像机单元控制部122接收图像数据等。
摄像机单元控制部122控制整个摄像机单元101。在摄像机单元101没有安装在可穿戴式终端150上的情况下，摄像机单元控制部122执行类似于第一实施例中的控制的控制。同时，在摄像机单元101安装在可穿戴式终端150上的情况下，摄像机单元控制部122确定是否执行用于拍摄图像数据(例如，按下快门按钮)的操作。当按下快门按钮时，摄像机单元控制部122控制开关123，以将图像数据输出至可穿戴式终端150。
在摄像机单元控制部122的控制下，开关123切换图像数据的输出目的地。
图21是第一实施例的变形示例中的摄像***的外观的示例。可穿戴式终端150是眼镜型终端。摄像机单元101可以经由连接工具155连接到可穿戴式终端150的侧面。在图中省略了该终端的透镜部分。对于连接工具155，例如，可使用未经审查的日本专利申请公开第2015-515638号的图1或图2中所示的连接工具。
摄像机单元101在被从可穿戴式终端150拆下时也进行操作。摄像机单元101的功能类似于第一实施例的电子装置100的功能。
另外，可穿戴式终端150设置有阻挡件156。当安装摄像机单元101时，阻挡件156阻挡来自摄像机单元101的激光。注意，未阻挡朝向摄像元件300入射的光。
例如，做如下假定：摄像机单元101的下部设置有激光照射部113，并且摄像元件101的上部设置有摄像器件300。在这种情况下，阻挡件156只阻挡摄像机单元101的下部。由此，只遮挡激光。在距离测量是不必要的情况下阻挡激光，并且因此可以防止激光出现在所拍摄的图像数据中。这可以提高摄像***的便利性。
当将摄像机单元101安装于可穿戴式终端150时，摄像机单元101不执行距离测量，但拍摄图像数据等。可穿戴式终端150分析图像数据，并且在终端的平视显示器上显示预定信息。例如，显示当前位置信息、将与被识别的物体合成的图像等。
通过这种方式，根据本发明的第一实施例的变形示例，当将摄像机单元101安装于可穿戴式终端150时，阻挡件156阻挡激光。因此，可以防止激光出现在所拍摄的图像数据中。
<2.第二实施例>
尽管上述的第一实施例通过ToF法来执行距离测量，但ToF法需要用于执行激光照射的组件，并且由此难以相应地降低成本和尺寸。第二实施例的电子装置100与第一实施例中的电子装置100的不同在于，其实现了尺寸和成本的降低。
图22是示出第二实施例中的电子装置100的构造示例的框图。对于第二实施例的电子装置100，假定了诸如数字单镜头反光摄像机等数字摄像机。另外，与第一实施例的电子装置100相比，第二实施例的电子装置100的不同在于还设置有显示部123以代替激光照射部113。
另外，在第二实施例的摄像器件300中设置有普通像素和用于检测一对瞳孔分割(pupil-split)图像的相位差的相位差检测像素。
当诸如快门按钮等按钮被半程按下时，控制部112控制摄像器件300以使其以与垂直同步信号同步的方式拍摄具有相对低的分辨率的图像，以作为实时取景图像。然后，控制部112控制开关117以使其将实时取景图像提供到显示部123。
另外，当按钮被全程按下时，控制部112使摄像元件300拍摄具有高于实时取景图像的分辨率的分辨率的图像数据。然后，控制部112控制开关117以使其将图像数据提供至距离测量部116。
显示部123显示图像数据。例如，通过液晶显示器来实现显示部123。
距离测量部116基于相位差像素的像素信号来测量距离，并且将图像数据和距离信息提供至三维形状推定部200。在该图像数据中，从周围像素中插值出相位差像素的像素信号的位置的像素值。坐标转换部400等的处理类似于第一实施例的处理。
注意，电子装置100使用距离测量信息以推定三维形状，但是距离测量信息也用于自动对焦(AF：Auto Focus)。在图22中，省略了基于距离测量信息控制聚焦透镜的位置的AF控制部。
图23是示出第二实施例的摄像器件300的构造示例的框图。与第一实施例的摄像器件300相比，第二实施例的摄像器件300不同之处在于设置有普通像素电路380和相位差检测像素电路390，以代替像素电路330。
普通像素电路380是对诸如R(红色)、G(绿色)和B(蓝色)的可见光执行光电转换的像素，并且产生像素信号。相位差检测像素电路390是用于检测一对瞳孔分割图像的相位差的像素。通过这种方式，将如下方法称为图像平面相位差方法：在图像平面上设置有用于像素差检测的像素，并且基于执行像素的信号测量距离。例如，在日本专利申请特开第2012-124791号中说明了这种图像平面相位差方法中的摄像器件300的结构。
图24是示出第二实施例中的电子装置100的操作的示例的流程图。电子装置100确定用户是否半程按下按钮(步骤S901)。当按钮被半程按下时(步骤S901：是)，电子装置100拍摄并显示实时取景图像(步骤S921)。用户在观看实时取景图像的同时调节电子装置100的取向，使得要被OCR处理的字符落入监视器(显示部123)中。在调节后，用户全程按下按钮。
然后，电子装置100确定用户是否全程按下按钮(步骤S904)。当按钮被全程按下时，电子装置100拍摄图像数据，并且基于在相位差检测像素电路390中检测的相位差来获得每个测量点的距离(步骤S922)。另外，电子装置100推定三维形状(步骤S908)，并且图像数据中插值出相位差像素(步骤S923)。然后，电子装置100执行步骤S910和随后的步骤。
通过这种方式，根据本发明的第二实施例，由于基于由相位差检测像素检测的相位差来测量距离，所以不需要设置激光照射部113和扩散板115，并且可以减少数量或者组件。这有利于降低尺寸或者成本。
注意，上述实施例是用于实施本发明的示例，并且实施例中的事项和权利要求中的用于限定发明的事项具有相应的对应关系。类似地，权利要求书中的用于限定发明的事项和本发明的实施例中的由与用于限定发明的事项相同的名称表示的事项具有相应的对应关系。然而，本发明不限于这些实施例，并且可以在不脱离本技术的主旨的情况下通过以各种方式修改这些实施例来实施本发明。
另外，上述实施例中描述的处理步骤可以被理解为包括一系列这些步骤的方法。或者，上述实施例中描述的处理步骤可以理解为用于使计算机执行一系列这些步骤的程序或者存储所述程序的记录介质。例如可以使用CD(光盘)、MD(迷你光盘)、DVD(数字多功能光盘)、存储卡、蓝光(注册商标)光盘等作为记录介质。
注意，这里描述的效果不必是限制的，并且可以产生本发明中描述的任何效果。
注意，本技术可以具有如下配置。
(1)一种电子装置，其包括：
摄像部，其对物体摄像，并拍摄图像数据；
距离测量部，其测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；
形状推定部，其根据测量的所述距离来推定所述物体的形状；和
坐标转换部，其对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
(2)根据(1)所述的电子装置，其还包括
字符识别部，其在经过所述坐标转换的所述图像数据中识别所述物体的表面上的字符。
(3)根据(1)所述的电子装置，还包括
照射部，其执行照射光的照射，
其中，所述距离测量部根据所述照射光的反射光和所述照射光之间的相位差来测量所述距离。
(4)根据(3)所述的电子装置，其中，
所述摄像部执行用于拍摄所述图像数据的处理以及用于接收所述照射光的处理。
(5)根据(3)或(4)所述的电子装置，其中，
所述照射部执行作为所述照射光的脉冲光的照射，所述脉冲光同步于预定的周期信号。
(6)根据(3)至(5)中的任一项所述的电子装置，其中，
所述照射部根据预定的操作来选择点状光和扩散光中的任一者，且执行作为所述照射光的光的照射，并且
在执行所述扩散光的照射时，所述距离测量部测量所述距离。
(7)根据(3)至(6)中的任一项所述的电子装置，其中，
在预定的按钮被半程按下的情况下，所述照射部开始所述照射光的照射，并且
在所述预定的按钮被全程按下的情况下，所述摄像部拍摄所述图像数据。
(8)根据(1)至(7)中的任一项所述的电子装置，其中，
所述电子装置是安装到可穿戴式终端的摄像机单元。
(9)根据(1)至(8)中的任一项所述的电子装置，其中，
所述形状推定部基于所述距离将多个候选形状中的任一者推定为所述物体的形状。
(10)根据(9)所述的电子装置，其中，所述形状推定部包括：
坐标检测部，其基于所述距离来检测所述多个测量点的每一者的坐标，以作为测量坐标；
函数获取部，其针对所述多个候选形状中的每一者，通过使用所述测量坐标来获取用于表示该候选形状的坐标和预定参考坐标系的坐标之间的关系的函数；
误差计算部，其基于获取的所述函数以及所述测量坐标，计算在针对所述多个候选形状的中的每一者假定所述物体的形状时的误差；和
推定处理部，其将所述多个候选形状中的具有最小误差的形状推定为所述物体的形状。
(11)根据(1)或(2)所述的电子装置，其中，
所述图像数据包括多个像素数据，
所述摄像部包括相位差检测像素和普通像素，所述相位差检测像素检测两个瞳孔分割图像之间的相位差，所述普通像素对光执行光电转换并产生所述多个像素数据中的任一者，并且
所述距离测量部基于由所述相位差检测像素检测的所述相位差来测量所述距离。
(12)一种用于控制电子装置的方法，其包括：
摄像步骤，在所述摄像步骤中，通过摄像部，对物体摄像并拍摄图像数据；
距离测量步骤，在所述距离测量步骤中，测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；
形状推定步骤，在所述形状推定步骤中，根据所测量的所述距离来推定所述物体的形状；和
坐标转换步骤，在所述坐标转换步骤中，对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
(13)一种用于使计算器执行以下步骤的程序：
摄像步骤，在所述摄像步骤中，通过摄像部，对物体摄像并拍摄图像数据；
距离测量步骤，在所述距离测量步骤中，测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；
形状推定步骤，在所述形状推定步骤中，根据所测量的所述距离来推定所述物体的形状；和
坐标转换步骤，在所述坐标转换步骤中，对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
附图标记列表
100电子装置；101摄像机单元；111、151操作部；112控制部；113激光照射部；114***和移除部；115扩散板；116距离测量部；117、123开关；118摄像透镜；119光学字符识别部；120翻译处理部；121声音输出部；122摄像机单元控制部；123显示部；150可穿戴式终端；152终端控制部；155连接工具；156阻挡件；200三维形状推定部；210测量坐标保存部；220测量坐标检测部；230距离信息保存部；240最小二乘法计算部；250参数保存部；260误差计算部；270参数提供部；300摄像器件；310行扫描电路；320像素阵列部；330像素电路；331光接收元件；332传输开关；333、334电荷存储部；335、336选择器开关；340时序控制部；350AD转换部；360列扫描电路；370信号处理部；380普通像素电路；390相位差检测像素电路；400坐标转换部；410帧存储器；420剪切处理部；430地址转换部。

Claims (13)

1.一种电子装置，其包括：
摄像部，其对物体摄像，并拍摄图像数据；
距离测量部，其测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；
形状推定部，其根据测量的所述距离来推定所述物体的形状；和
坐标转换部，其对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
2.根据权利要求1所述的电子装置，其还包括：
字符识别部，其在经过所述坐标转换的所述图像数据中识别所述物体的表面上的字符。
3.根据权利要求1所述的电子装置，其还包括：
照射部，其执行照射光的照射，
其中，所述距离测量部根据所述照射光的反射光和所述照射光之间的相位差来测量所述距离。
4.根据权利要求3所述的电子装置，其中，
所述摄像部执行用于拍摄所述图像数据的处理以及用于接收所述照射光的处理。
5.根据权利要求3所述的电子装置，其中，
所述照射部执行作为所述照射光的脉冲光的照射，所述脉冲光同步于预定的周期信号。
6.根据权利要求3所述的电子装置，其中，
所述照射部根据预定的操作来选择点状光和扩散光中的任一者，且执行作为所述照射光的光的照射，并且
在执行所述扩散光的照射时，所述距离测量部测量所述距离。
7.根据权利要求3所述的电子装置，其中，
在预定的按钮被半程按下的情况下，所述照射部开始所述照射光的照射，并且
在所述预定的按钮被全程按下的情况下，所述摄像部拍摄所述图像数据。
8.根据权利要求1所述的电子装置，其中，
所述电子装置是安装到可穿戴式终端的摄像机单元。
9.根据权利要求1所述的电子装置，其中，
所述形状推定部基于所述距离将多个候选形状中的任一者推定为所述物体的形状。
10.根据权利要求9所述的电子装置，其中，所述形状推定部包括：
坐标检测部，其基于所述距离来检测所述多个测量点的每一者的坐标，以作为测量坐标；
函数获取部，其针对所述多个候选形状中的每一者，通过使用所述测量坐标来获取用于表示该候选形状的坐标和预定参考坐标系的坐标之间的关系的函数；
误差计算部，其基于获取的所述函数以及所述测量坐标，计算在针对所述多个候选形状的中的每一者假定所述物体的形状时的误差；和
推定处理部，其将所述多个候选形状中的具有最小误差的形状推定为所述物体的形状。
11.根据权利要求1所述的电子装置，其中，
所述图像数据包括多个像素数据，
所述摄像部包括相位差检测像素和普通像素，所述相位差检测像素检测两个瞳孔分割图像之间的相位差，所述普通像素对光执行光电转换并产生所述多个像素数据中的任一者，并且
所述距离测量部基于由所述相位差检测像素检测的所述相位差来测量所述距离。
12.一种用于控制电子装置的方法，其包括：
摄像步骤，在所述摄像步骤中，通过摄像部，对物体摄像并拍摄图像数据；
距离测量步骤，在所述距离测量步骤中，测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；
形状推定步骤，在所述形状推定步骤中，根据所测量的所述距离来推定所述物体的形状；和
坐标转换步骤，在所述坐标转换步骤中，对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
13.一种用于使计算机执行以下步骤的程序：
摄像步骤，在所述摄像步骤中，通过摄像部，对物体摄像并拍摄图像数据；
距离测量步骤，在所述距离测量步骤中，测量从所述摄像部至所述物体的表面上的多个测量点的每一者的距离；
形状推定步骤，在所述形状推定步骤中，根据所测量的所述距离来推定所述物体的形状；和
坐标转换步骤，在所述坐标转换步骤中，对所述图像数据执行坐标转换，所述坐标转换基于推定的所述形状将所述物体的表面上的三维坐标转换为预定参考平面上的平面坐标。
CN201780002150.8A 2016-05-23 2017-02-28 电子装置、电子装置控制方法和程序 Pending CN107710275A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016102584 2016-05-23
JP2016-102584 2016-05-23
PCT/JP2017/007827 WO2017203777A1 (ja) 2016-05-23 2017-02-28 電子装置、電子装置の制御方法、および、プログラム

Publications (1)

Publication Number Publication Date
CN107710275A true CN107710275A (zh) 2018-02-16

Family

ID=60412243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002150.8A Pending CN107710275A (zh) 2016-05-23 2017-02-28 电子装置、电子装置控制方法和程序

Country Status (5)

Country Link
US (1) US10565462B2 (zh)
EP (1) EP3467765A4 (zh)
JP (1) JP6904261B2 (zh)
CN (1) CN107710275A (zh)
WO (1) WO2017203777A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
JP7463671B2 (ja) * 2019-08-01 2024-04-09 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
CN111882596B (zh) * 2020-03-27 2024-03-22 东莞埃科思科技有限公司 结构光模组三维成像方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102979A (ja) * 2002-07-17 2004-04-02 Ricoh Co Ltd 三次元形状表示装置、三次元形状表示方法、プログラムおよび記録媒体
JP2006267031A (ja) * 2005-03-25 2006-10-05 Brother Ind Ltd ３次元入力装置および３次元入力方法
US20080024795A1 (en) * 2006-07-25 2008-01-31 Konica Minolta Sensing, Inc. Three-dimensional shape measuring system, and three-dimensional shape measuring method
US20080316501A1 (en) * 2005-07-15 2008-12-25 Asahi Glass Company Limited Shape inspection method and apparatus
CN101566465A (zh) * 2009-05-18 2009-10-28 西安交通大学 一种物体变形的实时测量方法
JP2015191450A (ja) * 2014-03-28 2015-11-02 日本電気株式会社 Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338789A (ja) * 1989-07-06 1991-02-19 Fuji Electric Co Ltd パターンマッチング方式
US5615003A (en) * 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
JP3309743B2 (ja) * 1996-11-27 2002-07-29 富士ゼロックス株式会社 形状測定方法及び装置
JP3649942B2 (ja) * 1999-04-02 2005-05-18 三洋電機株式会社 画像入力装置、画像入力方法、及び記憶媒体
JP4324271B2 (ja) * 1999-04-16 2009-09-02 株式会社リコー 画像処理装置およびその方法
JP4635392B2 (ja) * 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
US20030202683A1 (en) 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
JP2004040395A (ja) * 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
US20150253428A1 (en) * 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
WO2013121897A1 (ja) 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
US11721414B2 (en) * 2015-03-12 2023-08-08 Walmart Apollo, Llc Importing structured prescription records from a prescription label on a medication package
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102979A (ja) * 2002-07-17 2004-04-02 Ricoh Co Ltd 三次元形状表示装置、三次元形状表示方法、プログラムおよび記録媒体
JP2006267031A (ja) * 2005-03-25 2006-10-05 Brother Ind Ltd ３次元入力装置および３次元入力方法
US20080316501A1 (en) * 2005-07-15 2008-12-25 Asahi Glass Company Limited Shape inspection method and apparatus
US20080024795A1 (en) * 2006-07-25 2008-01-31 Konica Minolta Sensing, Inc. Three-dimensional shape measuring system, and three-dimensional shape measuring method
CN101566465A (zh) * 2009-05-18 2009-10-28 西安交通大学 一种物体变形的实时测量方法
JP2015191450A (ja) * 2014-03-28 2015-11-02 日本電気株式会社 Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《计算机与信息科学十万个外什么》编委会: "多媒体与计算机辅助设计", 31 December 1987, 上海辞书出版社, pages: 720 - 161 *

Also Published As

Publication number Publication date
JP6904261B2 (ja) 2021-07-14
WO2017203777A1 (ja) 2017-11-30
EP3467765A4 (en) 2020-02-26
JPWO2017203777A1 (ja) 2019-03-22
US20180189591A1 (en) 2018-07-05
EP3467765A1 (en) 2019-04-10
US10565462B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
CN107710275A (zh) 电子装置、电子装置控制方法和程序
US9235741B2 (en) Indicia reading terminals and methods employing light field imaging
US9454687B2 (en) Barcode imaging
CN102724401B (zh) 一种线阵ccd相机多点自动调焦方法
EP2194725B1 (en) Method and apparatus for correcting a depth image
CN104471389A (zh) 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理***
CN103686134B (zh) 图像拾取装置、***和控制方法以及图像处理装置
JP2007322374A (ja) 赤外線目標選択装置
KR930007296A (ko) 물체의 3차원 입체정보취득장치
CN108353158A (zh) 图像拍摄装置及其控制方法
JP2002191058A (ja) ３次元画像取得装置および３次元画像取得方法
Ouyang et al. Visualization and image enhancement for multistatic underwater laser line scan system using image-based rendering
CN102265627A (zh) 图像数据获得方法和图像数据获得设备
CN102834756A (zh) 摄像装置、固体摄像元件以及摄像方法
US10957021B2 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
KR20170057110A (ko) 이미지 장치 및 그것의 동작 방법
CN210377502U (zh) 一种屏蔽环境光干扰的成像组件
CN107133982A (zh) 深度图构建方法、装置及拍摄设备、终端设备
Štolc et al. Depth and all-in-focus imaging by a multi-line-scan light-field camera
CN105357434B (zh) 一种信息处理方法及电子设备
JP2012220479A (ja) 撮像対象物の境界検知装置および境界検知方法
Guo et al. Barcode imaging using a light field camera
US20170006212A1 (en) Device, system and method for multi-point focus
US11627259B2 (en) Device, method and computer program
EP2979122A1 (en) An image forming method of a fluorescent sample

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination