CN102387344B - 成像装置、成像***和成像方法 - Google Patents

成像装置、成像***和成像方法 Download PDF

Info

Publication number
CN102387344B
CN102387344B CN201110244500.6A CN201110244500A CN102387344B CN 102387344 B CN102387344 B CN 102387344B CN 201110244500 A CN201110244500 A CN 201110244500A CN 102387344 B CN102387344 B CN 102387344B
Authority
CN
China
Prior art keywords
picture signal
area
image
timing
direction picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110244500.6A
Other languages
English (en)
Other versions
CN102387344A (zh
Inventor
大场英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201610371821.5A priority Critical patent/CN105915773B/zh
Publication of CN102387344A publication Critical patent/CN102387344A/zh
Application granted granted Critical
Publication of CN102387344B publication Critical patent/CN102387344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了成像装置、成像***和成像方法，该成像装置包括：图像传感器，对对象光进行光电转换以产生图像信号；存储部分，在第一区域内设定第二区域，以使第二区域对应于由设定值指定的指定区域，该设定值用于设定基于这些图像信号的图像的提取范围；正时调节单元，调节从图像传感器读取图像信号并将其写入存储部分的正时以及从存储部分读取图像信号的正时；图像转换处理器，基于从图像传感器读取的图像信号来对图像执行预定处理；输出单元，以连续扫描正时将经处理的图像信号转换为预定制式的图像信号并将该图像信号输出到显示单元。

Description

成像装置、成像***和成像方法
技术领域
本公开涉及成像装置、成像***和成像方法，它们能够理想地用在车载摄像机中，该车载摄像机拍摄并显示驾驶起(例如汽车的驾驶员)难以看到的区域的图像。
背景技术
在现有技术中，已知这样的技术：在例如安装到驾驶员的座位附近的显示装置上显示由安装到自动车辆、铁路车辆等中的紧凑型摄像机拍摄的图像(例如，JP-A-2002-19556以及JP-A-2010-33108)。通过在驾驶期间使用这种摄像机拍摄驾驶员难以看到的区域的图像并且在显示装置上显示摄像图像，可以将这种区域改变到驾驶员能够看到的区域。例如，在自动车辆的情况下，考虑车辆向后行驶以驻车(park)的情况，车辆的后部等通常被设定成驾驶员难以看到的区域。此外，在狭窄道路的交叉点处，难以识别从左侧和右侧接近的车辆。
此外，已知使用下述监视装置的成像***：该监视装置拍摄并显示由多个摄像机输出的图像以显示车辆的周围情况。通过使用在同一监视屏上显示在不同方向上拍摄的图像的PinP(画中画)功能，该成像***增强了多个图像的可见性。已知另一种车载成像***，其通过使用用于对由摄像机输出的图像进行处理的ECU(电子控制单元)来转换并组合全图像的一部分，由此使用将分离的屏幕区域布置在屏幕中的功能来执行PinP表示。在这个成像***中，在通过线束(harness)将由摄像机输出的图像取入ECU的图像存储器之后，多个传送图像被结合到一起。因此，显示在车载监视器上的图像的清晰度取决于传输***的带宽。因此，在传送图像的分辨率下降的状态下，被取入ECU的图像存储器的图像和转换图像被结合到一起。
图18示出了由现有技术的车载摄像机拍摄的、车辆周围的图像100的示例。
在现有技术中，已知这样的摄像***：在该***中，车载摄像机被设置在车辆的前方以向显示单元显示车辆的右侧和左侧的视频，使得用户可以观察车辆的左侧和右侧以及车辆的前侧。此外，已知这样的摄像***：摄像机使用变形镜头等(该镜头的光轴被设置为不对称的)使得用户可以观察车辆左侧和右侧以及前侧。在前一种摄像***中，获得由设置在车辆的前侧、左侧和右侧上的三个摄像机拍摄的图像，并且这些图像被结合并由用在摄像控制ECU或导航***中的图像表示功能显示。
发明内容
然而，在驾驶车辆以直角穿过道路或者将车辆从停车场驶出时，驾驶员可能难以观察到从驾驶员座位的左侧和右侧接近的其他车辆或者行人。因为安装到车辆上的车内摄像机需要拍摄大范围的区域，所以使用鱼眼镜头、变形镜头等。因此，如果由这些镜头拍摄的图像被按照原样显示的话，因为位于图像***的物体被显示为小的比例，驾驶员可能在驾驶期间忽视危险的物体或障碍物。
此外，在现有技术的成像***中，必须将多个摄像机安装到车辆的左侧、右侧、前侧和后侧。此外，需要由将分离图像组合的处理器来把由各个摄像机拍摄的图像组合。因此，构造成像***需要付出大量努力并且是昂贵的，这种***不能被广泛使用。此外，在通过组合多个透镜构成的摄像机时，透镜***具有复杂的构造，摄像机变得昂贵和庞大。因此，摄像机的安装位置受到限制。此外，由于广角摄像机较大的扭曲，使用现有技术的广角摄像机来仅显示广角图像具有驾驶员难以感觉到正在接近的车辆的距离的问题。因此，对于驾驶员来说在相信视觉感受到的距离的同时驾驶车辆是非常危险的，因为视觉感受到的距离与实际距离有很大的区别。
此外，在现有技术的成像***中，因为目标清晰度由线束的传输能力确定，所以在由设置于摄像机的后级的ECU来放大图像时，图像清晰度将会下降。此外，因为ECU需要将从摄像机传输的全图像都一次取入存储器中，所以必须安装用于图像组合的组件以及用于将图像存储在成像***上的组件。因此，构造成像***所需的组件的数据增加，使得成像***复杂并且昂贵。
因此期望使得驾驶员(用户)同时在同一屏幕上容易地看到从相对于移动方向的左方向和右方向拍摄的图像以及驾驶员将注意力集中到的局部区域的图像。
在本公开的实施例中，对象光(subjectlight)受到光电转换以产生图像信号。
第二区域被设定在第一区域内，以使其对应于由设定值指定的指定区域，该设定值用于基于图像信号来设置图像的提取范围。
调节从图像传感器读取图像信号并把图像信号写入存储部分的正时以及从存储部分读取图像信号的正时。
之后，对基于从图像传感器读取的图像信号的图像执行预定处理。写入图像信号的帧速率由经调节的正时来以帧为单位改变，在预定帧时间段内，从图像传感器输入到第二区域的图像信号中的单方向图像信号被写入到所述第二区域，该单方向图像信号对应于通过在单方向上成像而获得的图像。另一方面，在与该单方向图像信号的帧时间段不同的帧时间段内，左方向图像信号被写入到从第一区域分割出来的第一分割区域中，该左方向图像信号对应于通过在该单方向的左侧上进行成像而获得的图像。在与把左方向图像信号写入到第一分割区域的帧时间段不同的帧时间段内，右方向图像信号被写入到从第一区域分割出来的第二分割区域中，该右方向图像信号对应于通过在该单方向的右侧上进行成像而获得的图像。
按照连续扫描正时从第一区域和所述第二区域读取的单方向图像信号、左方向图像信号和右方向图像信号被转换为预定制式的图像信号，该图像信号被输出到显示单元。
通过这种构造，通过在存储部分中适当地布置和存储图像信号，可以把从图像传感器读取的图像信号存储在一个存储部分中并且与连续扫描正时同步地从存储部分按原样输出单方向图像信号、左方向图像信号和右方向图像信号。
根据本公开的实施例，成像装置具有这样的功能：在由具有PinP功能的成像装置输出的图像内布置子屏幕并将子屏幕输出到显示单元。在子屏幕中显示基于单方向图像信号的图像。此外，在除了子屏幕外的屏幕中，显示基于右方向图像信号和左方向图像信号的左、右侧图像。以此方式，在使用广角图像来监视周围情况时，用户可以通过查看同一的屏幕而同时观察水平方向上的区域和所述单方向上的区域。此外，通过改善可见性，驾驶员可以在早期阶段检测驾驶员的车辆周围的环境的情况。
附图说明
图1的框图示出了根据本公开的示例性实施例的成像装置和显示装置的示例性内部构造的框图。
图2的图示出了现有技术的图像传感器读取图像信号的正时以及现有技术的成像装置输出图像信号的正时。
图3的图示出了设置在第一区域和第二区域中的图像的示例。
图4A到图4C的图示出了将转换图像写入到第一和第二区域中的处理的示例。
图5A到图5D的图示出了由根据本公开的示例性实施例的图像转换处理器执行的图像转换处理的示例。
图6A到图6E的图示出了由根据本公开的示例性实施例的正时调节单元进行的处理的示例。
图7A到图7E的图示出了当在本公开的示例性实施例中在PinP模式下以放大的比例显示局部图像时，正时调节的示例。
图8A到图8D的图示出了当在本公开的示例性实施例中在PinP模式下以放大的比例显示局部图像时，正时调节的示例(第一情况)。
图9A到图9D的图示出了当在本公开的示例性实施例中在PinP模式下以放大的比例显示局部图像时，正时调节的示例(第二情况)。
图10A和图10B的图示出了在本公开的示例性实施例中、在竖直和水平方向上放大左图像和右图像的示例的图。
图11的图示出了由图像转换处理器进行的图像转换和放大处理的示例，其中，图像转换传感器将已经受到正时调节的左和右小图像进行转换和放大。
图12A和图12B的图示出了PinP重叠表示的示例，其中，中央图像被显示为使其与在水平方向上放大的图像重叠。
图13A到图13D的图示出了在本公开的示例性实施例中、在PinP模式下显示局部图像时的示例。
图14的图示出了安装了根据本公开的示例性实施例的成像装置的汽车的示例性俯视图。
图15A到图15C的图都示出了车辆周围的图像(全图像被显示在上部上)的示例，该图像是由本公开的示例性实施例的成像装置拍摄的。
图16的图示出了车辆周围的图像(全图像被显示在下部上)的示例，该图像是由本公开的示例性实施例的成像装置拍摄的。
图17的图示出了车辆周围的图像(全图像被设置在上部上并且沿着水平方向膨胀)的示例，该图像是由本公开的示例性实施例的成像装置拍摄的。
图18的图示出了车辆周围的图像的示例，该图像是由现有技术的车载摄像机拍摄的。
具体实施方式
下文中，将会描述用于实施本公开的模式(下文中也被称作本实施例)。将会按照以下顺序给出说明。
1.示例性实施例(PinP表示控制：使用一个图像存储部分来对PinP的表示进行控制的示例)；以及
2.修改示例
<1.示例性实施例>
[成像***的示例性整体构造]
图1的框图示出了根据本公开的、作为成像***5的示例性实施例的成像装置1和显示装置2的示例性内部构造的框图。在本实施例中，将以下情况描述为示例：成像装置1被应用到安装到汽车的后侧(未示出)的车载摄像机，显示装置2被应用到用于安装在车辆中的车辆导航***的显示装置等。成像装置1和显示装置2通过线缆等(未示出)连接，使得成像***5被形成为：在成像***中，图像信号从成像装置1输入到显示装置2，控制信号从显示装置2输出到成像装置1。
在本实施例中，尽管描述了成像装置1被安装在汽车上的例子，但是安装对象不仅限于此。即，按照此公开的实施例的成像装置1可以被安装在轨道车辆和车辆车体或船的外壳上作为车载机构(诸如重型器械(如，可动汽车起重机)、工业机械或快艇)。
首先，描述了显示装置2的组成元件。显示装置2包括显示单元21和操作输入单元22。显示单元21由例如LCD(液晶显示器)或者类似装置构造，并把从成像装置1发送的图像信号显示为图像。操作输入单元22按照用户按下选择/确认按钮B1而选择显示屏设定所产生的内容来产生控制信号，并且将由成像装置1选择的图像的设定值提供给控制单元14。
操作输入单元22此外还包括了与选择/确认按钮B1相独立的值输入按钮B2。使用该值输入按钮B2，“用户特别关注的局部区域”的图像被选择并且被按照用户操作的按钮的内容来设定，此外，特别的表示模式被提前设定和存储。通过这样做，可以通过在必要时按下选择/确认按钮B1的简单操作来调用唯一的表示模式。以下，通过这种显示方法提前设定的表示模式被称为“个人显示模式”。
特别的，当用户同时长按选择/确认按钮B1和值输入按钮B2时，操作输入单元22向成像装置1产生中断请求信号，以将设定菜单界面转换成“个人显示模式”。在这个设定菜单界面上，用户同时按下选择/确认按钮B1和值输入按钮B2(这种按钮操作是第一命令输入)来产生控制信号，从而确定局部放大所必需的位置和控制设定值并且将其存储在设定值存储部分15中。此外，所确定的位置和设定值被提供给成像装置1，并且执行对于“个人显示模式”中的特别表示所必需的设定。
此外，当检测到选择/确认按钮B1被按下时，在通过上述方法设定了“个人显示模式”的成像装置1中执行以下处理。即，这种按钮操作被认为是第二命令输入。此外，还产生控制信号以读取被设定为“个人显示模式”的区域的图像。
尽管“个人显示模式”是使得对用户而言唯一的盲区能更容易被看到的表示模式的例子，但是在设计和制造成像装置时被预先登记的区域可以被设定并且显示为PinP格式。
尽管在图1中所示的例子中，显示装置2包括的显示单元21和操作输入单元22是分开的单元，但是也可以使用下述显示装置：该装置使用把显示单元21和操作输入单元21结合为一体的触摸板等。
下面将描述成像装置1的组成元件。成像装置1包括图像传感器11、图像质量调节单元12、图像转换单元13、控制单元14、设定值储存部分15、正时(timing)调节单元16、显示控制单元17、模拟编码器(输出单元)18以及区域选择单元19。
图像传感器11由固态成像装置所构造。例如，CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器等可以被用作图像传感器11。图像传感器11通过对经由安置在安装了成像装置1的车辆车体或者船的外壳附近的广角镜头(未示出)所会聚的入射光进行光电转换来产生图像信号。由图像传感器11获得的图像信号被提供给图像质量调节单元12。图像质量调节单元12将所提供的图像信号转换成数字图像信号，并且执行图像质量调节。例如执行AGC(自动增益控制)、噪音抑制、图像质量增强等来作为图像质量调节。图像质量调节单元12控制了图像传感器11的驱动。此外，图像质量调节单元12调节由单方向图像信号、左方向图像信号和右方向图像信号组成的图像的图像质量，这些图像信号将根据从图像传感器11取得图像信号的正时而以帧为单位写入下文中描述的第一和第二区域132α和132β中。在这种情况下，各个方向图像被控制为具有不同的图像质量。该正时是基于从正时调节单元16提供的读出正时信号来确定的。图像质量由图像质量调节单元12调节过的图像信号被提供给图像转换单元13。
图像转换单元13被构造为包括图像转换处理器131和图像存储部分132，并且被构造为将图像制式转换为标准输出制式，例如，NTSC制式。图像存储部分132包括用于存储第一图像信号的第一区域132α和用于存储第二图像信号的第二区域132β，第一图像信号对应于基于从图像传感器11输入的图像信号的全图像，第二图像信号对应于作为全图像的一部分的局部图像。此外，第一区域132α被划分为两个区域，这两个区域是用于存储第一图像信号中的左方向图像信号的第一分割区域132α1和用于存储右方向图像信号的第二分割区域132α2。
在本实施例中，通过对在成像装置1的镜头所面对的单方向上的区域进行成像而获得的“单方向图像信号”被用作第二图像信号。此外，通过对所述单方向的左侧进行成像而获得的“左方向图像信号”以及通过对所述单方向的右侧进行成像而获得的“右方向图像信号”被一同用作第一图像信号。图像存储部分132将第二区域132β设定在第一区域132α内，使得第二区域132β对应于由控制单元14所产生的设定值指定的指定区域，其中控制单元14基于图像信号来设定图像的提取范围。此外，第一区域132α被设定在图像存储部分132的、除了第二区域132β之外的部分中。
在成像装置1中，第一区域132α和第二区域132β被设定在图像存储部分132中，并且区域选择单元19被设定来对要写入图像信号的区域进行选择。将要显示在显示单元21的整个屏幕上的转换图像被存储在第一区域132α中，并且将要显示在小PinP屏幕中的转换图像被存储在第二区域132β中。通过根据帧输出正时来连续地读出图像存储部分132中的图像，PinP的图像可以被以标准输出制式输出。
具体地，根据控制单元14的控制，图像转换处理器131从基于从图像质量调节单元12提供的图像信号的图像内提取指定区域的图像。此外，所提取的图像被放大到具有与显示装置2的显示单元21的全屏幕相对应的尺寸的图像。在这种情况下，图像转换处理器131对基于从图像传感器11读取的图像信号的图像执行预定的处理。此外，图像转换处理器131将图像信号写入到第二区域132β，同时通过经调节的正时以帧为单位来改变写入图像的帧速率。对从图像传感器输入的图像信号中的单方向图像信号执行这种调节，所述单方西图像信号与通过对沿所述单方向的区域进行成像而获得的图像相对应。
此外，在与单方向图像信号的帧时间段不同的帧时间段内，图像转换处理器131把与通过对所述单方向的左侧进行成像而获得的图像相对应的左方向图像信号写入到从第一区域132α分割出来的第一分割区域132α1中。此外，在与图像被写入第一分割区域132α1的帧时间段不同的帧时间段内，图像转换处理器131把与通过对所述单方向的右侧进行成像而获得的图像相对应的右方向图像信号写入到从第一区域132α分割出来的第二分割区域132α2中。在随后的帧时间段中，与时序帧读出正时同步地把与写入到第一区域的图像信号不同的图像信号写入。所提取并经放大的图像被输出到图像存储部分132。图像存储部分132也作为用于将从图像转换处理器131提供的图像保持预定时间段的帧存储器。
如上所述，成像装置1包括图像转换单元13，该图像转换单元13具有从广角图像产生并输出转换图像的功能并且将局部指定区域的图像存储为嵌入到输出全图像所需的图像区域的一部分中。因为从图像传感器11通过成像装置1的广角镜头(未示出)获得的图像具有很多扭曲，所以图像转换单元13对图像信号进行处理以校正扭曲。在这种情况下，期望显示为放大比例的指定区域被放大并单独地***到指定的地址(address)区域，来作为输出图像的子屏幕，并且被保存在用作缓冲存储器的第二区域132β中。此外，在摄像机的后级，该图像与嵌入的图像在帧更新期间一同输出，由此实现了PinP功能。
控制单元14例如由MPU(微处理单元)等构造。根据从操作部分22输入的控制信号的内容，控制单元14产生用于由“第一指令输入”所限定的“个人观看模式”的设定值并且将设定值存储在设定值存储部分15中，其中“第一指令输入”基于框架的尺寸和位置来指定“指定区域”的范围。即，设定值作为基于从图像质量调节单元12提供的图像信号来执行图像的提取范围的设定值。设定值包括变焦系数(在对指定区域进行变焦时)和指定区域的XY坐标。此外，控制单元14包括用于对显示装置2的值输入按钮B2的按压次数进行计数的计数器和用于测量时间的计时器。
在接收到从操作输入单元22输入的第二指令时，控制单元14从设定值存储部分15读取设定值并且将设定值输出到图像转换单元13。此外，控制单元14产生用于对从图像传感器11输出图像信号的输出正时以及从图像存储部分132输出图像信号的输出正时进行调节的控制信号，并且将该控制信号提供给正时调节单元16。此外，控制单元14产生用于将由图像转换处理器131转换的图像信号输出到模拟编码器18的控制信号并且将该控制信号提供给图像转换处理器131。
基于从控制单元14提供的控制信号，区域选择单元19和正时调节单元16调节从图像传感器11读取图像信号并将它们写入图像存储部分132的正时以及从图像存储部分132读取图像信号的正时。将会参照图6A到图6E描述正时调节单元16的处理的细节。
根据由正时调节单元16调节的正时并基于从控制单元14提供的控制信号，显示控制单元17读取存储在图像存储部分132中的图像并且将其输出到模拟编码器18。此外，显示控制单元17产生用于设置指定区域的框架线等并将其输出到模拟编码器18。在这种情况下，显示控制单元17在显示单元21上显示的框架的尺寸和位置根据来自用户的操作输入而改变，其中显示单元21用于显示基于由输出单元输出的图像信号的图像。此外，显示控制单元17在子PinP屏幕中显示被作为指定区域而提取的图像。此外，虽然示出了显示控制单元17在全PinP屏幕中显示被作为指定区域而提取的图像并且在子PinP屏幕中显示全图像的示例，但是输出PinP屏幕可以以相反方式设置。
模拟编码器18根据连续的扫描正时从第一区域132α(第一分割区域132α1和第二分割区域132α2)和第二区域132β读取单方向图像信号、左方向图像信号和右方向图像信号。此外，在全图像与局部图像彼此关联的状态下，模拟编码器18将图像信号(单方向图像信号、左方向图像信号和右方向图像信号)转换为预定制式的图像信号并进行输出。该制式例如可以是NTSC(国家电视***委员会)制式，并且模拟编码器18将图像信号提供给显示装置2的显示单元21。正时调节单元16调节图像输出正时，使得图像可以与NTSC输出正时的V同步信号同步地输出，而不用考虑是否提取图像。执行这种调节以通过使得整个图像帧延迟来调节从图像传感器11读取图像以及输出转换图像的正时。
图2示出了现有技术的图像传感器读取图像信号的正时以及现有技术的成像装置输出图像信号的正时的示例。
在该示例中，将会描述现有技术中的成像装置1不执行用于校正图像扭曲的转换、PinP表示模式、提取和放大局部图像等的情况。
图像传感器在每个水平周期(1H)中读取一条线的图像信号。在一个垂直周期(1V)期间读取图像传感器的成像区域中所有的水平线。从图像传感器11获得的图像被输出到成像装置的外部，因为它们没有经过图像尺寸转换等。
现有技术中的成像装置的图像存储部分不具有与本实施例的图像存储部分132相对应的第一区域132α和第二区域132β。在这里，因为图像质量调节单元和图像转换单元分别执行预定处理，所以成像装置1输出图像信号的正时大致上也被延迟了相同的量。结果，没必要对每个局部图像区域进行正时调节。
图3示出了布置在第一和第二区域(132α和132β)中的图像示例。
在显示单元21的整个屏幕上显示的转换图像被存储在第一区域132α中，并且在小PinP屏幕上显示的转换图像被存储在第二区域132β中。在以下描述中，显示单元21的整个屏幕将会被称作“主屏幕”，并且显示局部图像的区域将会被称作“子屏幕”。图像转换单元13已经知道子屏幕在水平和竖直方向上的区域的范围。
只要由图像转换处理器11处理的一条线的图像被写入图像存储部分132，图像转换单元13计算显示子屏幕的开始位置和结束位置并且将子屏幕的图像信号以线为单位写入第二区域132β。这里，基于图像转换单元13的子屏幕判断计数器(未示出)的值来执行向第一和第二区域132α和132β的图像信号写入。子屏幕判断计数器是这样的计数器：其对沿水平方向写入每个像素的图像信号进行计数并且对于沿竖直方向写入每根线的图像信号进行计数。
因为也在竖直方向上执行写入，所以如果子屏幕判断计数器的值大于与子屏幕的显示开始位置相对应的线的话，子屏幕的图像信号被写入到第二区域132β。此外，如果子屏幕判断计数器的值大于与子屏幕的显示结束位置相对应的线的话，向第二区域132β的写入结束。这里，写入到第一区域132α的图像信号是当前帧的图像信号，而写入到第二区域132β的图像信号是此前帧的图像信号。将会参照图4A到图4C以及图5A到图5D来描述通过将一个图像存储部分132分割为两个区域来输出当前帧和此前帧的图像信号的操作。
图4A到图4C是示出了将转换图像写入到第一和第二区域132α和132β中的处理的示例。
首先，如图4A所示，显示在小PinP屏幕中的转换图像S被写入到第二区域132β。第一区域132α是不被写入图像的遮蔽区域。随后，如图4B所示，显示在全屏幕中的转换图像F被写入到第一区域132α。在这种情况下，第二区域132β是不被写入图像的遮蔽区域。
之后，区域选择单元19使得以此方式写入的全屏幕转换图像F和小屏幕转换图像S从模拟编码器18以帧为单位交替地输出，同时将帧速率减小1/2。即，每两帧更新各个转换图像。通过执行这种处理，如图4C所示，全屏幕转换图像F和小屏幕转换图像S(它们是在不同时间获得的图像)被结合并输出。
通过这种构造，可以例如在显示单元21的全屏幕上显示在正常模式下拍摄的图像并在小PinP屏幕中显示基于个人观察模式的指定区域Pa的图像(见图6A)。通过在每个输出帧输出这两个区域的图像，用户可以在观看由成像装置1拍摄的正常图像的同时观察指定区域Pa的放大图像。因此，用户可以容易明白车辆周围的情况。此外，根据本实施例的构造，当没有在成像装置1的外部使用用于产生并结合PinP图像的装置的状态下，不一定提供多个图像存储部分132来对应于多个区域，并且也不一定提供用于这种操作的额外的存储器。因此，可以减小由成像装置1和显示单元21构成的车辆周围监视***的组件的数目，并且减小***成本。
[由图像转换处理器131进行的示例性图像转换处理]
图5A到图5D示出了图像被转换的正时的示例。
图5A示出了从图像传感器11读出图像的读出正时的示例。
在该示例中，图像被以帧为单位从图像传感器11读出。
图5B示出了为每个帧读取的图像指定符号的示例。
图5C示出了输入到图像转换单元13的转换图像的示例。因为图像由设置在图像传感器11与图像转换单元13之间的图像质量调节单元12处理，所以在从图像传感器11读取图像的正时之后将图像输入到图像转换处理器131。
图5D示出了图像读出正时的示例。
图像转换处理器131把从输入图像以帧为单位提取全图像或局部图像的帧速率增加到两倍，使得全图像和局部图像被写入图像存储部分132的正时差为一帧。在本实施例中，全图像被示意性地表示为转换图像α-n并且局部图像被示意性地表示为转换图像β-n(其中n为自然数)。
图像转换处理器131将全图像写入第一区域132α并且将局部图像写入第二区域132β。区域选择单元19对于两个帧时间段读取全图像和局部图像。此外，区域选择单元19从图像存储部分132读取全图像和局部图像的正时差为一帧。因此，相差一帧的两种PinP图像被显示在显示单元21上。
如上所述，因为各个转换图像的输出每两帧更新一次，所以在不同正时获得的图像被结合并输出。以此方式，图像传感器11可以输出每一帧的图像，而不减小帧速率。在NTSC制式中，输出帧速率是30fps(帧/秒)，这产生了正时差但是在实际使用中不引起任何问题。此外，因为成像装置1输出图像，所以可以将成像***5构造为使其与基准垂直同步正时信号(诸如NTSC模拟输出)同步地连续输出图像。
图像转换处理器131可以将单方向图像信号写入第一区域132α并且将左方向图像信号和右方向图像信号写入第二区域132β。在这种情况下，模拟编码器18在由显示单元21显示的屏幕内的子PinP屏幕中显示左分割放大图像和右分割放大图像，并且将通过对在单方向成像而获得的图像显示在主屏幕上。
[由正时调节单元16进行的示例性正时调节处理]
图6A到图6E直到图9A到图9D示出了在以放大的比例显示局部图像时，由正时调节单元16进行的正时调节处理的示例。
图6A示出了从图像传感器11读取用作全图像6的图像信号的正时。
在图6A中，一帧的各个像素之中的第一像素(在屏幕左上角的像素)被读取的正时被表示为Til，并且最后的像素(在屏幕右下角的像素)被读取的正时被表示为Tie。当在正时Til处读取第一像素之后，水平扫描时间段1H开始，并且顺序地读取一根线的像素，直到屏幕右端。在读取第一根线之后，顺序地读取第二根线到最后一根线的像素，由此读取一帧的全部像素。即，在从图6A中示出的图像传感器11读取图像信号的过程中，通过(正时Tie)-(正时Til)来计算的时间段是有效1V时间段。
图6B示出了在“个人观看模式”中，在被设置为指定区域Pa的区域中的局部图像7的示例。
在图6B中，指定区域Pa由虚线表示，在指定区域Pa的左上角处的像素被读取的正时被表示为Tin，并且在右下角处的像素被读取的正时被表示为Tim。通过(正时Tim)-(正时Tin)来计算的时间段随着指定区域Pa的尺寸来改变。在本实施例中，提取指定区域Pa中的局部图像7，并且所提取的图像在有效1V时间段内被输出到显示装置2。
图6C示出了图像被输出到显示装置2的正时的示例。
在图6C中，指定区域Pa中的局部图片7的第一像素被输出到显示装置2的正时由Tol表示，并且最后的像素被输出到显示装置2的正时由Toe表示。
图6D示出了图像传感器11输出图像信号的正时的示例。
在该示例中，1V时间段内的第一水平时间段由“1H”表示，并且第二水平时间段由“2H”表示并且第x个水平时间段由“xH”表示。
图6E示出了成像装置1输出图像信号的正时的示例。
由于图像质量处理和图像提取处理，成像装置1输出图像信号的正时一般被延迟。然而，因为有必要在1V时间段内输出局部图像，所以图像被保持在用作缓存存储器的图像存储部分132中。
当在图6B中示出的指定区域Pa中、在由(正时Toe)-(正时Tol)表示的有效1V时间段内输出局部图像7时，有必要在有效1V时间段中输出具有延迟的、与指定区域Pa相对应的局部图像7。此外，因为也增加了与由图像质量调节单元12进行的图像质量调节处理相关的延迟，所以从图6D中示出的成像装置1输出图像信号的正时也从图6E中示出的从图像传感器11读取图像信号的正时延迟了预定时间段。
因此，为了在具有延迟的情况下输出指定区域Pa的局部图像7，正时调节单元16调节从图像传感器11读取图像信号的正时以及从图像存储部分132读取局部图像的正时。
图7A到图7E示出了在PinP模式中以放大的比例显示局部图像时进行正时调节的示例。
与图6A、图6D和图6E相似，图7A、图7D和图7E示出了在图像传感器11输出图像信号的传感器输出正时和成像装置1向显示装置2输出图像信号的摄像机输出正时的示例。然而，在PinP模式中以放大的比例显示局部图像时的正时调节量没有统一地确定。
图7B示出了在指定区域Pa中以缩小的比例显示全图像6以及在全屏幕上显示局部图像7的示例(第一情况)。
图7C示出了在指定区域Pa中以缩小的比例显示局部图像7以及在全屏幕上显示全图像6的示例(第二情况)。
在这种情况下，难以仅通过正时调节来吸收显示正时的差异，正时被以如图8A到图8D或者图9A到图9D中示出的方式调节。
图8A到图8D示出了在PinP模式中以放大的比例显示局部图像时的正时调节示例(第一情况)。显示控制单元17在全PinP屏幕上显示作为指定区域而提取的第二图像并且在子屏幕上显示第一图像。
图8A示出了图像传感器11输出图像信号的正时的示例。
如上所述，通过以下公式计算有效1V时间段。
Tie-Til＝有效1V时间段
图8B示出了设置局部图像7的区域的示例。
如上所述，设置局部图像7的指定区域Pa可以变化。此外，通过以下公式计算局部图像7的可变有效时间段。
Tim-Tin＝可变有效时间段
图8C示出了在PinP模式中显示的屏幕的示例。
在PinP表示模式中，在显示在全屏幕上的局部图像7的内部，以缩小的比例在指定区域Pa中显示全图像6。正时调节单元16使用正时调节功能来调节图像写入正时，并且区域选择单元19基于正时调节单元16的指示使得来自图像存储部分132的图像放大并输出。在这种情况下，在以放大的比例显示的局部图像7的显示开始正时为Tol并且显示结束正时是Toe时，通过以下公式计算有效1V时间段。
Toe-Tol＝有效1V时间段
图8D示出了以放大的比例显示全图像6的示例。
这里，当全图像6的显示开始正时是Tpl并且显示结束正时是Tpe时，通过以下公式计算有效1V时间段。这里，显示开始正时Tpl和显示结束正时Tpe是可以根据PinP屏幕的布置位置改变的。
Tpe-Tpl＝有效1V时间段
图9A到图9D示出了在PinP模式中以放大的比例显示局部图像时的正时调节示例(第二情况)。显示控制单元17在子PinP屏幕上显示作为指定区域而提取的第二图像。
图9A和图9B示出了与图8A和图8B类似的传感器输出正时和摄像机输出正时的示例。
图9C和图9D示出了在全屏幕上显示全图像6的示例。
如图9C所示，在全图像6的显示开始正时为Tol并且显示结束正时是Toe时，通过以下公式计算有效1V时间段。
Toe-Tol＝有效1V时间段
如图9D所示，显示在指定区域Pa中的局部图像7的显示开始正时Tpl和显示结束正时Tpe是可以根据PinP屏幕的布置位置改变的。
Tpe-Tpl＝有效1V时间段
图10A和图10B示出了从图像传感器11读取的全图像6中的左、右图像被在水平和竖直方向上放大的情况。
图10A示出了包括全图像6的左侧上的局部图像的区域9L和包括右侧上的局部图像的区域9R的示例。从区域9L读取左方向图像信号，该左方向图像信号对应于通过对单方向的左侧进行成像而获得的信号。另一方面，从区域9R读取右方向图像信号，该右方向图像信号对应于通过对单方向的右侧进行成像而获得的信号。
图10B示出了把包括在区域9L中的图像和包括在区域9R中的图像放大的示例。
在从图像传感器11读取的图像之中，图像转换处理器131把包括在区域9L中的图像和包括在区域9R中的图像放大。此外，图像转换处理器131把左方向图像信号和右方向图像信号写入到第一区域132α，使得图像以在显示单元21的屏幕的竖直方向和水平方向上放大或缩小的比例在不重叠的状态下显示，该图像是基于从第一区域132α读取的图像信号而显示在显示单元21上的。在本实施例中，经转换的左方向图像信号被写入第一分割区域132α1，并且经转换的右方向图像信号被写入到第二分割区域132α2，从而产生左、右图像10L和10R。
图11示出了由图像转换处理器131在左、右图像上进行的图像转换处理的示例。
在该示例中，说明了从图像传感器11提取图像来由此产生放大的左、右图像的正时。
从图像传感器11读取区域9L的、在水平方向上的时间段Tinll’到Tinlr’以及Tinrl’到Tinrr’的时间段内的图像信号。图像转换处理器131在有效1H时间段内执行连续输出读取图像信号的图像放大/缩小处理。此外，在竖直方向上，图像转换处理器131在左方向图像信号和右方向图像信号上执行相同的正时放大/缩小处理，来由此产生一个帧时间段的图像。
图12A和图12B示出了对包括在从图像传感器11读取的全图像6内的中央图像进行放大的示例。
图12A示出了包括在全图像6的中央处的局部图像的区域8的示例。从区域8读取与通过对单方向(在本实施例中是前方向)上的区域进行成像而获得的图像相对应的单方向图像信号。
图12B示出了沿着水平方向扩大包括在区域8内的图像的示例。
在从图像传感器11读取的图像之中，图像转换处理器131将包括在区域8中的图像沿着水平方向扩大和放大。此外，图像转换处理器131将经转换的单方向图像信号写入到第二区域132β，从而产生中央信号，使得中央图像作为PinP而被在显示单元21上显示在图10B中示出的左、右图像上方。
图13A到图13D示出了当在PinP模式中在显示单元21上以放大的比例显示局部图像时，正时调节的示例。
图13A示出了与图6A类似的、图像传感器11输出图像信号的传感器输出正时的示例。
图13B示出了区域8、9L和9R被设置在全图像6中的示例。
在图13C中示出的示例中，与图12B类似，在图像存储部分132中，左方向图像信号被写入第一分隔区域132α1，右方向图像信号被写入第二分割区域132α2，单方向图像信号被写入第二区域132β。
图13D示出了基于写入到第二区域132β的单方向图像信号的图像的示例。
如上所述，图像转换处理器131将第二区域132β设置为使其符合显示在显示单元21上的屏幕内的上部、中部和下部，并且将单方向图像信号写入第二区域132β。此外，图像转换处理器131将屏幕内的上部或下部上的第二区域132β沿水平方向扩大并且将单方向图像信号写入第二区域132β。因此，可以理解通过将基于写入到第二区域132β的单方向图像信号的图像扩大，获得了被作为区域8提取的压缩图像。
图14示出了安装本实施例的成像装置1的汽车的示例性俯视图。
成像装置1被安装到汽车的前侧上的发动机罩部以及后侧的行李箱部，并且显示装置2被安装到车辆内部的驾驶员座椅中。安装到前侧和后侧上的成像装置1具有约180°的成像角。在本实施例中，设置在前侧上的成像装置1的“前方向”被称作为“单方向”，并且设置在后侧上的成像装置1的“后方向”被称作为“单方向”。
图15A到图15C示出了通过对车辆的前侧进行成像而获得的图像被以PinP模式显示在显示单元21的上部上的示例。
图15A示出了在不执行图像转换等时全屏表示的示例。
在该示例中，显示由设置在汽车后侧上的成像装置1拍摄的图像30。因为用在该成像装置1中的镜头具有大的曲率半径，所以在显示单元21的***处的图像扭曲特别大。因此，用户不能够容易识别需要注意的车辆，并且可能误会位置关系，使得正在接近的车辆看起来好像是远离驾驶员的车辆。
图15B示出了包括在图像30中的、通过对前侧、左侧和右侧进行成像而获得的图像的示例。
在该示例中，位于图像30的左侧和右侧上的区域31L和31R被以放大的比例显示，并且被选择为两个分割主屏幕。此外，位于图像30中央的区域32被选择为子屏幕，该子屏幕被显示为图15C中的PinP屏幕。选择是基于从设定值存储部分15读取的设定值来自动地执行的。
以此方式，当在转换前从全图像(驾驶员通常看到该全图像)提取的局部图像被以放大的比例显示的过渡时间段内，临时地显示与放大的部分相对应的区域(区域31、31L和31R)的粗框架。显示框架所需的时间段约为0.5到5秒，所显示的粗框架吸引用户的注意力使其观看显示为PinP屏幕的子屏幕。各个设定值是在将单方向图像信号写入第二区域132β以及将左方向图像信号和右方向图像信号写入第一区域132α之前确定的。图像转换处理器131增加表示由设定值指定的指定区域的信息，并把从图像传感器11读取的图像信号原样地写入图像存储部分132。以此方式，在驾驶员查看显示在显示单元21上的图像以检查在左侧和右侧上的其他正在接近的车辆等或者情况时，可以防止驾驶员没有意识到车辆前方行人的情况。
图15C示出了在显示单元21上一同显示主屏幕和子PinP屏幕的示例。
在将图像显示在显示单元21上之前，图像转换处理器131除掉区域31L、31R和32中的图像扭曲。此外，图15B中示出的区域31L和31R中的左、右图像被放大，并且左方向图像和右方向图像被显示在分割主屏幕的左、右屏幕33L和33R上。此外，通过改变被作为PinP屏幕显示的子屏幕34的位置和尺寸，根据用户的操作来工作的显示控制单元17可以显示单方向图像信号。
以此方式，通过将对车辆的左侧和右侧成像而获得的图像以放大的比例显示，用户可以识别正在接近驾驶员的车辆的其他车辆。此外，通过在屏幕的上部上将子屏幕34显示为PinP屏幕，驾驶员可以容易地认识到驾驶员的车辆周围的情况，在该子屏幕34中，包括在区域32内的图像被转换为缩小的比例。此外，驾驶员可以沿着由虚箭头表示的方向将显示为PinP屏幕的子屏幕34的尺寸改变为放大的或减小的比例。通过这样做，即使在包括在左屏幕33L或右屏幕33R中的汽车等接近驾驶员的车辆并且以放大的比例显示时，也不会减弱子屏幕34的显示。
图16示出了通过对车辆的前侧进行成像而获得的图像被以PinP模式显示在显示单元21的下部上的示例。
在该示例中，以PinP模式显示为缩小的图像的子屏幕34被设置在显示左、右图像的主屏幕35L和35R的中下部。与图15C中示出的图像类似，可以通过沿着由虚箭头表示的方向进行放大或缩小来改变显示在子屏幕34中的图像的尺寸。以此方式，即使在包括于显示在主屏幕35L和35R中的图像中的汽车等接近驾驶员的车辆并且以放大的比例显示时，也不会减弱子屏幕34的显示。
图17示出了通过对车辆的前侧进行成像而获得的图像被沿水平方向扩大并且以PinP模式显示在显示单元21的上部上的示例。
在该示例中，区域31的图像被以PinP模式显示在子屏幕37中，该子屏幕37被设置在显示单元21的屏幕的上部上并且被沿着水平方向扩大。因为驾驶员可以容易地观察到前侧，所以即使在子屏幕37被沿水平方向压缩时可见性也不被减弱。此外，显示分割的左、右主屏幕的主屏幕36L和36R被设置在子屏幕37下方，并且左方向图像和右方向图像被以放大的比例显示在各个主屏幕中。在这种情况下，即使在包括于显示在主屏幕36L和36R中的图像中的汽车等接近驾驶员的车辆并且以放大的比例显示时，也不会减弱子屏幕37的显示。
以此方式，在汽车的前侧或后侧上拍摄的图像被***到显示为PinP屏幕的子屏幕中。在这种情况下，根据成像装置1的安装状态、显示单元21的屏幕尺寸以及改善驾驶员的可见度的目的，可以将子屏幕的布置位置相对于全屏幕适当地改变到以下位置。即，子屏幕可以被适当地布置到以下位置：(a)屏幕的中上部；(b)屏幕的中下部；(c)屏幕的横向上部；以及(d)屏幕的横向下部。
根据上述示例性实施例的成像***5，可以提取从相同的图像传感器11读取的图像的一部分，并且在作为PinP屏幕的子屏幕中显示全图像或局部图像的至少一者。然而，为了显示全图像或局部图像，有必要以两种方式调节图像转换与图像显示之间的正时。因此，在实现作为子PinP屏幕的PinP表示功能时，存储显示在子屏幕中的图像的信息的区域被在图像存储部分132中确保为第二区域132β，并且从全屏幕获取的图像被预先***第二区域132β中。以此方式，没有必要在输出全屏幕和子屏幕期间以两种方式调节正时。以此方式，成像装置1将此前帧的图像以缩小的比例设置在“全图像存储器”的顺序读出地址中的、与PinP显示位置相对应的地址区域中，其中在显示全图像时使用“全图像存储器”。
此外，成像装置1具有将子屏幕布置在由具有PinP功能的成像装置1输出的图像内的功能。此外，在成像装置1的控制下，通过对车辆的左侧和右侧进行成像而获得的图像被在全屏幕上放大地显示，并且车辆的前侧的图像被显示在子屏幕中。以此方式，因为可以识别车辆的移动方向以及正在接近驾驶员的车辆的物体，所以驾驶员可以在车辆移动之前判断驾驶员的车辆的前后移动将会妨碍其他车辆等的路径。在现有技术中，当车辆以直角穿过道路或者将车辆从停车场驶出时，驾驶员难以观察到正在从驾驶员座椅的左侧和右侧接近的其他车辆或行人。然而，可以以低成本从广角图像以放大的比例观察到车辆的左侧和后侧图像以及前侧和后侧图像，该广角图像在显示于显示单元21上的屏幕上。此外，可以以低成本提供这样的成像***5，该成像***5能够使得驾驶员能够从具有差的可见性的交叉口或停车场安全地驶出车辆。
此外，各个转换图像的输出每两帧进行更新。因此，在不同时刻获得的图像被结合并输出到显示单元21。因此，可以将每帧图像输出到显示单元21而不使得由图像传感器21输出的图像帧速率降低。此外，因为成像装置1将图像输出到显示装置2，所以可以将成像***5构造为使其与基准垂直同步正时信号(诸如NTSC模拟输出)同步地连续输出图像。
如上所述，成像装置1可以按照具有PinP功能的车载周围监视摄像机所要求的那样拍摄广角图像。通过广角图像，难以认识到局部图像的细节。特别地，即使当用户期望注意的指定区域存在于广角图像中时，用户也需要很多时间来意识到情况或者用户不能够通过这样的图像认识到细节。此外，对于驾驶员很重要的是在驾驶的早期阶段检测到危险。考虑到这种要求，通过提供以下功能，驾驶员可以容易地认识到情况，该功能是：成像装置1预先将由成像装置1拍摄的广角图像的指定区域Pa设置为相应的局部图像在并且将相应图像显示在子屏幕等中作为PinP屏幕。通过这样，因为驾驶员可以与全图像一同更加详细地观察特别关注区域，所以驾驶员可以容易地并迅速地认识到周围情况。
此外，成像装置1具有将子屏幕设置在由成像装置1输出的相同屏幕内的PinP功能。因此，驾驶员等可以将驾驶员等用裸眼难以从全图像观察到的区域的局部图像指定到子屏幕中。或者，也可以将全图像显示在子屏幕中并将指定区域的具体的放大图像显示在全屏幕上。此外，通过将全图像和局部图像传送到显示装置2以将其基本同时***到相同屏幕中作为PinP屏幕，驾驶员可以同时认识到周围的整个区域并且指定区域的细节。
此外，因为每两帧进行图像更新，所以图像质量调节单元12将在不同时刻读取并且与不同成像区域相关的区域的图像质量调节到最佳质量，使得成像装置1可以输出各个转换图像。此外，因为通过将帧交替地写入图像存储部分132来实现PinP表示方法，所以可以获得能够对于每个区域将曝光控制最优化的额外优点。在现有技术中，当在PinP模式中显示亮度急剧变化的区域时，一些图像可能看起来太暗或者太亮。然而，通过将显示在每个区域中的图像的图像质量调节为最佳质量，可以基于写入到各个区域的图像信号来以帧为单位调节图像的亮度。因此，成像装置1可以输出由驾驶员基本容易理解的图像。
在已有的用于监视周围的车载成像装置中，为了观察在制造过程中设置的指定区域的目的而预先设置了监视区域。虽然也存在可以在从工厂装运之前指定可见管理区域的产品，但是没有可以考虑与各个用户的驾驶环境相关的低可见性情况来指定监视区域的产品。另一方面，根据成像***5，因为驾驶员可以指定驾驶员的驾驶环境下的低可见性区域并且保持所指定的区域，所以例如在驾驶员家的狭窄空间中驻车时，可以有效地监视周围。
<2.修改示例>
如图4A到图4C所示，本公开不仅可以被应用到使用一个图像存储部分132来控制PinP屏幕的显示的构造，也可以应用到提供多个存储部分132来对应于多个区域的构造。
本公开不限于上述实施例，并且可以在不超出由权利要求所描述的本公开的精神的情况下进行各种应用和修改。
本公开所包含的主题涉及2010年8月27日递交给日本专利局的日本在先专利申请JP2010-191376中公开的主题，并且通过引用将其全部结合在这里。
本领域技术人员应当理解，根据设计需要和其他因素进行各种修改、结合、子结合和替换，只要它们落在权利要求及其等价物的范围内。

Claims (10)

1.一种成像装置，包括：
图像传感器，其对对象光进行光电转换以产生图像信号；
存储部分，其在第一区域内设定第二区域，以使所述第二区域对应于由设定值指定的指定区域，所述设定值用于设定基于这些图像信号的图像的提取范围；
正时调节单元，其对从所述图像传感器读取所述图像信号并把所述图像信号写入所述存储部分的正时以及从所述存储部分读取所述图像信号的正时进行调节；
图像转换处理器，所述图像转换处理器对基于从所述图像传感器读取的图像信号的所述图像执行预定处理，使得把所述图像信号写入所述第一区域和所述第二区域的帧速率按照经过调节的正时来以帧为单位改变，
所述图像转换处理器在预定帧时间段内把从所述图像传感器输入的图像信号中的单方向图像信号写入所述第二区域，所述单方向图像信号对应于通过在单方向上成像而获得的图像，
在与所述单方向图像信号的帧时间段不同的帧时间段内，所述图像转换处理器把左方向图像信号写入从所述第一区域分割出来的第一分割区域，所述左方向图像信号对应于通过在所述单方向的左侧上进行成像而获得的图像，并且
在与把所述左方向图像信号写入所述第一分割区域的帧时间段不同的帧时间段内，所述图像转换处理器把右方向图像信号写入从所述第一区域分割出来的第二分割区域，所述右方向图像信号对应于通过在所述单方向的右侧上进行成像而获得的图像；以及
输出单元，所述输出单元把按照连续扫描正时从所述第一区域和所述第二区域读取的所述单方向图像信号、所述左方向图像信号和所述右方向图像信号转换为预定制式的图像信号并把这些图像信号输出到显示单元；
其中，所述图像转换处理器把从输入图像以帧为单位提取的全图像或局部图像的帧速率增加到两倍，使得所述全图像和所述局部图像被写入所述存储部分的正时差为一帧。
2.根据权利要求1所述的成像装置，
其中，所述第一区域被设定在所述存储部分的、除了所述第二区域之外的部分，并且
其中，所述图像转换处理器把所述左方向图像信号和所述右方向图像信号写入所述第一区域，使得基于从所述第一区域读取的图像信号而显示在所述显示单元上的图像在不发生重叠的状态下，以沿着所述显示单元的屏幕的竖直或水平方向放大或缩小的比例显示。
3.根据权利要求2所述的成像装置，
其中，所述图像转换处理器把所述单方向图像信号写入所述第二区域，在所述输出单元开始进行把所述左方向图像信号和所述右方向图像信号输出到所述第一区域的转换操作之前把表明由所述设定值指定的指定区域的信息增加到预定时间段的正常输出图像，并且把从所述图像传感器读取的图像信号原样地写入所述存储部分。
4.根据权利要求3所述的成像装置，
其中，所述图像转换处理器把所述第二区域布置在显示于所述显示单元上的所述屏幕内的上部、中部或下部或者把所述第二区域布置在所述屏幕内的上部或下部，以使所述第二区域沿着所述水平方向扩大并把所述单方向图像信号写入所述第二区域。
5.根据权利要求4所述的成像装置，还包括
显示控制单元，所述显示控制单元把下述框架显示在所述显示单元上以显示基于由所述输出单元输出的图像信号的图像：所述框架的尺寸和位置是可根据来自用户的操作输入而改变的，
其中，所述控制单元基于所述框架的位置和尺寸来产生所述设定值。
6.根据权利要求5所述的成像装置，还包括
图像质量调节单元，该单元控制所述图像传感器的驱动，并且对基于所述单方向图像信号、所述左方向图像信号和所述右方向图像信号的图像的图像质量进行调节，使得所述单方向图像信号受到不同于所述左方向图像信号和所述右方向图像信号的调节，其中所述单方向图像信号、所述左方向图像信号和所述右方向图像信号被与从所述图像传感器以帧为单位取得所述图像信号的正时同步地写入所述第一区域和所述第二区域。
7.根据权利要求6所述的成像装置，
其中，所述成像装置被安装在车辆的车体或者船舶的船体上，所述图像传感器对所述车辆的车体或者所述船舶的船体周围的对象光进行光电转换以产生所述图像信号。
8.根据权利要求2所述的成像装置，
其中，所述图像转换处理器把所述单方向图像信号写入所述第一区域并且把所述左方向图像信号和所述右方向图像信号写入所述第二区域。
9.一种成像***，包括：
成像装置；以及
显示装置，
其中，所述成像装置包括
图像传感器，其对对象光进行光电转换以产生图像信号；
存储部分，其在第一区域内设定第二区域，以使所述第二区域对应于由设定值指定的指定区域，所述设定值用于设定基于这些图像信号的图像的提取范围；
正时调节单元，其对从所述图像传感器读取所述图像信号并把所述图像信号写入所述存储部分的正时以及从所述存储部分读取所述图像信号的正时进行调节；
图像转换处理器，所述图像转换处理器对基于从所述图像传感器读取的图像信号的所述图像执行预定处理，使得把所述图像信号写入所述第一区域和所述第二区域的帧速率按照经调节的正时来以帧为单位改变，
所述图像转换处理器在预定帧时间段内把从所述图像传感器输入的图像信号中的单方向图像信号写入所述第二区域，所述单方向图像信号对应于通过在单方向上成像而获得的图像，
在与所述单方向图像信号的帧时间段不同的帧时间段内，所述图像转换处理器把左方向图像信号写入从所述第一区域分割出来的第一分割区域，所述左方向图像信号对应于通过在所述单方向的左侧上进行成像而获得的图像，并且
在与把所述左方向图像信号写入所述第一分割区域的帧时间段不同的帧时间段内，所述图像转换处理器把右方向图像信号写入从所述第一区域分割出来的第二分割区域，所述右方向图像信号对应于通过在所述单方向的右侧上进行成像而获得的图像；以及
输出单元，所述输出单元把按照连续扫描正时从所述第一区域和所述第二区域读取的所述单方向图像信号、所述左方向图像信号和所述右方向图像信号转换为预定制式的图像信号并把这些图像信号输出到显示单元，并且
所述显示装置包括所述显示单元，所述显示单元显示基于从所述输出单元输出的所述图像信号的图像；
其中，所述图像转换处理器把从输入图像以帧为单位提取的全图像或局部图像的帧速率增加到两倍，使得所述全图像和所述局部图像被写入所述存储部分的正时差为一帧。
10.一种成像方法，包括：
对对象光进行光电转换以产生图像信号；
在存储部分中的第一区域内设定第二区域，以使所述第二区域对应于由设定值指定的指定区域，所述设定值用于设定基于这些图像信号的图像的提取范围；
调节从所述图像传感器读取所述图像信号并把所述图像信号写入所述存储部分的正时以及从所述存储部分读取所述图像信号的正时；
对基于从所述图像传感器读取的图像信号的所述图像执行预定处理，使得把所述图像信号写入的帧速率按照经调节的正时来以帧为单位改变，
在预定帧时间段内把从所述图像传感器输入的图像信号中的单方向图像信号写入所述第二区域，所述单方向图像信号对应于通过在单方向上成像而获得的图像，
在与所述单方向图像信号的帧时间段不同的帧时间段内，把左方向图像信号写入从所述第一区域分割出来的第一分割区域，所述左方向图像信号对应于通过在所述单方向的左侧上进行成像而获得的图像，并且
在与把所述左方向图像信号写入所述第一分割区域的帧时间段不同的帧时间段内，把右方向图像信号写入从所述第一区域分割出来的第二分割区域，所述右方向图像信号对应于通过在所述单方向的右侧上进行成像而获得的图像；
把按照连续扫描正时从所述第一区域和所述第二区域读取的所述单方向图像信号、所述左方向图像信号和所述右方向图像信号转换为预定制式的图像信号并把这些图像信号输出到显示单元；
其中，所述方法还包括：
把从输入图像以帧为单位提取的全图像或局部图像的帧速率增加到两倍，使得所述全图像和所述局部图像被写入所述存储部分的正时差为一帧。
CN201110244500.6A 2010-08-27 2011-08-22 成像装置、成像***和成像方法 Active CN102387344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610371821.5A CN105915773B (zh) 2010-08-27 2011-08-22 用于车辆的显示控制装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-191376 2010-08-27
JP2010191376A JP5672862B2 (ja) 2010-08-27 2010-08-27 撮像装置、撮像システム及び撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610371821.5A Division CN105915773B (zh) 2010-08-27 2011-08-22 用于车辆的显示控制装置

Publications (2)

Publication Number Publication Date
CN102387344A CN102387344A (zh) 2012-03-21
CN102387344B true CN102387344B (zh) 2016-06-22

Family

ID=45316489

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610371821.5A Active CN105915773B (zh) 2010-08-27 2011-08-22 用于车辆的显示控制装置
CN201110244500.6A Active CN102387344B (zh) 2010-08-27 2011-08-22 成像装置、成像***和成像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610371821.5A Active CN105915773B (zh) 2010-08-27 2011-08-22 用于车辆的显示控制装置

Country Status (6)

Country Link
US (3) US9088702B2 (zh)
EP (2) EP2424221B1 (zh)
JP (1) JP5672862B2 (zh)
CN (2) CN105915773B (zh)
BR (1) BRPI1107133A2 (zh)
RU (1) RU2011134926A (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2915025B8 (en) * 2012-11-01 2021-06-02 Eyecam, Inc. Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
JP2015032050A (ja) * 2013-07-31 2015-02-16 株式会社東芝 表示制御装置、表示制御方法およびプログラム
WO2015129801A1 (ja) * 2014-02-26 2015-09-03 株式会社ニコン 撮像装置
JP6582642B2 (ja) 2014-08-11 2019-10-02 セイコーエプソン株式会社 車両用撮像装置、車両用撮像表示システム、及び車両
JP6582644B2 (ja) 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6384188B2 (ja) 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
WO2018105007A1 (ja) * 2016-12-05 2018-06-14 富士通周辺機株式会社 運転支援プログラム、運転支援方法および運転支援装置
CN106911892A (zh) * 2017-02-21 2017-06-30 深圳市金立通信设备有限公司 一种图像处理的方法及终端
JP6754893B2 (ja) * 2017-03-31 2020-09-16 本田技研工業株式会社 画像生成装置及び画像生成方法
DE102017205630A1 (de) * 2017-04-03 2018-10-04 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017218722A1 (de) * 2017-10-19 2019-04-25 Robert Bosch Gmbh Umfelderfassungssystem zum Erfassen eines Umfelds eines Fahrzeugs und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
EP3480779A1 (en) * 2017-11-01 2019-05-08 Volvo Car Corporation Method and system for handling images
US10999539B2 (en) * 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view
JP7419721B2 (ja) * 2018-12-20 2024-01-23 セイコーエプソン株式会社 回路装置、電子機器及び移動体
JP2020202503A (ja) * 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP7279533B2 (ja) * 2019-06-14 2023-05-23 ソニーグループ株式会社 センサ装置、信号処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635838A (zh) * 2008-07-24 2010-01-27 索尼株式会社 图像处理***、成像装置、图像处理方法和计算机程序

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4249213A (en) * 1978-09-14 1981-02-03 Hitachi, Ltd. Picture-in-picture television receiver
US4528585A (en) * 1983-03-30 1985-07-09 Rca Corporation Television receiver having picture magnifying apparatus
JPS61240789A (ja) * 1985-04-18 1986-10-27 Matsushita Electric Ind Co Ltd 画像処理装置
EP0245745B1 (en) * 1986-05-12 1993-10-27 Hitachi, Ltd. Image processing system
GB9012326D0 (en) * 1990-06-01 1990-07-18 Thomson Consumer Electronics Wide screen television
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5745711A (en) * 1991-10-23 1998-04-28 Hitachi, Ltd. Display control method and apparatus for an electronic conference
EP0719039A3 (en) * 1992-08-10 1998-03-11 Sony Corporation Electronic shutter time control with noise suppression for a video camera
US7849393B1 (en) * 1992-12-09 2010-12-07 Discovery Communications, Inc. Electronic book connection to world watch live
US5450140A (en) * 1993-04-21 1995-09-12 Washino; Kinya Personal-computer-based video production system
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US5500654A (en) * 1993-12-27 1996-03-19 Kabushiki Kaisha Toshiba VGA hardware window control system
JPH07234773A (ja) * 1993-12-27 1995-09-05 Toshiba Corp 表示制御装置
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
JP3890691B2 (ja) * 1997-02-27 2007-03-07 ヤマハ株式会社 画像記録再生装置及び画像記録再生プログラムを記憶した記憶媒体
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
JP4723703B2 (ja) * 1999-06-25 2011-07-13 富士通テン株式会社 車両の運転支援装置
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
BRPI0109291B1 (pt) * 2000-03-17 2015-06-23 Thomson Licensing Sa Método e aparelho para gravar e exibir simultaneamente uma pluralidade de sinais de vídeo a partir de fontes de vídeo diferentes
JP2002019556A (ja) 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
JP3703731B2 (ja) * 2001-04-12 2005-10-05 シャープ株式会社 表示制御装置、表示装置、および携帯電話機
JP2002325249A (ja) * 2001-04-25 2002-11-08 Sumitomo Electric Ind Ltd 車両側方映像生成装置
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
US7253833B2 (en) * 2001-11-16 2007-08-07 Autonetworks Technologies, Ltd. Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system
AU2003217627A1 (en) * 2002-02-22 2003-09-09 Cbl Acquisition Llc Optical ring architecture
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
KR100585534B1 (ko) * 2003-08-13 2006-05-30 엘지전자 주식회사 멀티 픽쳐를 이용한 채널 디스플레이 방법 및 장치
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP4606336B2 (ja) * 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置
WO2007055335A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
JP2007166351A (ja) * 2005-12-15 2007-06-28 Sony Corp 撮像装置および撮像方法
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP2007306353A (ja) * 2006-05-12 2007-11-22 Opt Kk 動画の表示方法、動画表示システムおよび広角動画撮像装置
JP5062175B2 (ja) * 2006-08-04 2012-10-31 コニカミノルタホールディングス株式会社 液晶表示装置の製造方法
PT2113119E (pt) * 2007-02-14 2014-03-17 Photint Venture Group Inc Método e sistema de combinação de imagens
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
JP4940030B2 (ja) * 2007-06-26 2012-05-30 富士通株式会社 送信装置、受信装置、およびプログラム
JP2009033581A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP2009211012A (ja) * 2008-03-06 2009-09-17 Funai Electric Co Ltd 広角複眼撮像装置
TW200939763A (en) * 2008-03-07 2009-09-16 Sunplus Technology Co Ltd Image processing system and method for processing divisional TV pictures
JP4735991B2 (ja) * 2008-03-18 2011-07-27 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
US8164655B2 (en) * 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
JP2010191376A (ja) 2009-02-20 2010-09-02 Kawai Musical Instr Mfg Co Ltd 楽譜編集装置及び楽譜編集プログラム
JP5423235B2 (ja) * 2009-08-20 2014-02-19 ソニー株式会社 撮像装置
US20110221764A1 (en) * 2010-03-12 2011-09-15 Microsoft Corporation Laying out and cropping images in pre-defined layouts
US9071759B2 (en) * 2010-03-30 2015-06-30 Fujifilm Corporation Compound-eye imaging device, and parallax adjusting method and program thereof
US8736680B1 (en) * 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
US8493482B2 (en) * 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635838A (zh) * 2008-07-24 2010-01-27 索尼株式会社 图像处理***、成像装置、图像处理方法和计算机程序

Also Published As

Publication number Publication date
US9088702B2 (en) 2015-07-21
JP2012049918A (ja) 2012-03-08
CN105915773B (zh) 2019-08-27
US10462372B2 (en) 2019-10-29
CN105915773A (zh) 2016-08-31
US20190028651A1 (en) 2019-01-24
US20120050470A1 (en) 2012-03-01
EP2424221A2 (en) 2012-02-29
RU2011134926A (ru) 2013-02-27
EP3654632A1 (en) 2020-05-20
CN102387344A (zh) 2012-03-21
US10110820B2 (en) 2018-10-23
US20150288886A1 (en) 2015-10-08
BRPI1107133A2 (pt) 2013-05-21
EP2424221B1 (en) 2020-02-12
JP5672862B2 (ja) 2015-02-18
EP2424221A3 (en) 2014-07-02

Similar Documents

Publication Publication Date Title
CN102387344B (zh) 成像装置、成像***和成像方法
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP4254887B2 (ja) 車両用画像表示システム
CN110278418B (zh) 视频数据的处理***、方法和车辆
CN101340566A (zh) 图像处理***和方法
JP2007141098A (ja) 画像処理装置及び画像処理方法
JP2007180720A (ja) 車両運転支援装置
US8390709B2 (en) Camera and method for adjusting photographing time and mode
US8970735B2 (en) Capturing device, capturing system, and capturing method
JPH04274941A (ja) 車両用車外監視装置
JP2023046953A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP2019001325A (ja) 車載用撮像装置
JP7384343B2 (ja) 画像処理装置、画像処理プログラム
JP2023046965A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
KR101462269B1 (ko) 고화질 카메라의 부분 저장장치 및 방법
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法
JP4407246B2 (ja) 車両周辺モニタシステムおよび車両周辺モニタ方法
JP5606774B2 (ja) 映像表示装置及び映像表示方法
JP2005159710A (ja) 車両用表示制御装置および車両用表示制御方法
JP5105306B2 (ja) 車両用表示装置
JP2008219504A (ja) 撮像表示システム
JP2008306496A (ja) 車載撮像システム及び撮像装置
JP2005271814A (ja) 車両用周辺確認装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant