CN113228155A - 校正图像生成***、图像控制方法、图像控制程序以及记录介质 - Google Patents

校正图像生成***、图像控制方法、图像控制程序以及记录介质 Download PDF

Info

Publication number
CN113228155A
CN113228155A CN201880100522.5A CN201880100522A CN113228155A CN 113228155 A CN113228155 A CN 113228155A CN 201880100522 A CN201880100522 A CN 201880100522A CN 113228155 A CN113228155 A CN 113228155A
Authority
CN
China
Prior art keywords
image data
data
correction
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880100522.5A
Other languages
English (en)
Inventor
岸本克彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sakai Display Products Corp
Original Assignee
Sakai Display Products Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sakai Display Products Corp filed Critical Sakai Display Products Corp
Publication of CN113228155A publication Critical patent/CN113228155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/043Preventing or counteracting the effects of ageing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10Dealing with defective pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of El Displays (AREA)

Abstract

校正图像生成***具备:电子设备的本体,其包括:显示部;存储部,其存储校正参照图像数据后的规定的图像数据的存储部;校正数据生成部,其使用显示部中显示的参照图像生成校正数据;图像数据校正部,其使用校正数据校正图像数据;以及摄像部,其通过摄像参照图像来获得摄像图像数据。规定的图像数据是通过在电子设备的制造阶段生成的初始校正数据对参照图像数据进行校正后的校正参照图像数据,显示部基于修正参照图像数据来显示参照图像,校正数据生成部根据摄像图像数据或基于摄像图像数据的数据与修正参照图像数据或基于修正参照图像数据的数据的比较结果,生成校正数据。

Description

校正图像生成***、图像控制方法、图像控制程序以及记录 介质
技术领域
本发明涉及校正图像生成***、图像控制方法、图像控制程序以及记录介质。
背景技术
有机电场发光(以下,称为“有机EL”)显示装置、液晶显示装置等的显示装置用于电视接收设备、便携设备的显示部等各种用途。在这些显示装置中,基于输入信号要显示的期望的颜色(亮度)和实际显示的颜色(亮度)有时因显示装置所具有的输入输出特性的影响而不同。因此,根据该显示装置的特性,进行所谓的伽马校正等的校正。
此外,包含显示装置的电子设备有时会产生由用户开始使用之前的阶段即电子设备的出厂前的制造阶段中的制造偏差引起的显示不均(以下,称为初始显示不均)。初始显示不均由于显示装置所包含的各像素的特性的不均而产生。为了使用户难以视觉辨认这样的初始显示不均,通过在电子设备出厂之前生成图像数据的校正用数据,从而改善显示装置的画质。具体而言,在制造工序的最终阶段,基于从外部输入的规定的图像数据使显示装置显示图像,使用外部的摄像装置获得显示装置所显示的图像的摄像图像数据。然后,通过对输入的规定的图像数据和摄像图像数据进行比较,生成用于消除初始显示不均的校正数据。出厂后,基于使用所得到的校正数据校正后的图像数据的图像显示于显示装置(例如,参照专利文献1)。作为上述规定的图像数据,使用灰度值均匀的图像数据或者灰度值连续变化的图像数据等具有一定规则性的图像数据。通过这样的方法,难以视觉辨认在制造阶段产生的显示装置的初始显示不均,改善了用户使用时的画质。
现有技术文献
专利文献
专利文献1:日本特开2010-57149号公报
发明内容
本发明所要解决的技术问题
例如,有机EL显示装置通过作为与各像素对应的发光元件的有机EL元件分别发光,从而作为发光点的集合体而显示图像。一个像素还由红色、绿色和蓝色等子像素构成,按每个子像素形成有发出红色、绿色或蓝色的光的有机EL元件。但是,在各子像素各自包含的有机EL元件的制造偏差的基础上,起因于用于使各个有机EL元件以期望的亮度发光的驱动元件即薄膜晶体管(以下,称为“TFT”)等的制造偏差,有时各子像素的发光特性不同。例如,在有机EL显示装置的一区域中各颜色的子像素的亮度一致,且与其他区域的子像素的亮度不同的情况下,产生亮度不均。此外,在某特定颜色的子像素的亮度与其它颜色的子像素的亮度不同的情况下,会产生色度不均。此外,也有同时产生亮度不均和色度不均的情况。这样的初始显示不均主要起因于有机EL元件和TFT等的制造偏差中的TFT特性的制造偏差而发生的情况较多。
另一方面,在电子设备的使用开始后,因使用导致有机EL元件和TFT等的随时间劣化而引起的各子像素的发光特性随着时间的经过而变化。在有机EL元件中,由于因在有机材料中流过驱动电流而引起的随时间劣化,一般相对于驱动电流值的亮度变小,该有机材料构成有机EL元件的层叠构造所包含的有机发光层及电子/空穴注入层等。有机EL元件与TFT相比,伴随着这样的随时间劣化的特性变化的程度更大,该随时间劣化的程度也根据各子像素而不同。因此,在显示装置的使用开始后,伴随随时间劣化的进行,也能够按每个有机EL显示装置在不同的时期以及程度上新产生局部的亮度不均、色度不均。也就是说,与在电子设备的制造阶段产生的主要因TFT特性的制造偏差引起的初始显示不均不同,在电子设备的使用开始后,主要会产生因有机EL元件的随时间劣化引起的显示不均。因此,即使基于使用在上述制造工序的最终阶段生成的校正数据校正后的图像数据在有机EL显示器装置中显示图像,由于伴随着电子设备开始使用后的时间经过的有机EL元件的发光特性和TFT特性的劣化,可能再次在显示图像上产生显示不均。但是,尚未提出消除这种由随时间劣化引起的显示不均的适当的方法。
本发明是为了解决这种问题而完成的,其目的在于,提供能够适当地消除电子设备在使用开始后产生的因随时间劣化引起的显示不均的校正图像生成***、图像控制方法、图像控制程序以及记录介质。
用于解决技术问题的技术方案
作为本发明一实施方式的校正图像生成***具备:电子设备的本体,其包括:显示部;存储部,其存储校正参照图像数据后的规定的图像数据的存储部;校正数据生成部,其使用所述显示部中显示的参照图像生成校正数据;图像数据校正部,其使用所述校正数据校正图像数据;以及摄像部,其通过摄像所述参照图像来获得摄像图像数据,所述规定的图像数据是通过在所述电子设备的制造阶段生成的初始校正数据对所述参照图像数据进行校正后的校正参照图像数据,所述显示部基于所述修正参照图像数据来显示所述参照图像,所述校正数据生成部根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果,生成所述校正数据。
作为本发明一实施方式的图像控制方法包括:第一步骤,基于规定的图像数据,显示参照图像;第二步骤,通过摄像所述参照图像来获得摄像图像数据;第三步骤,使用所述摄像图像数据生成校正数据;以及第四步骤,使用所述校正数据校正图像数据,所述规定的图像数据是通过初始校正数据校正参照图像数据得到的修正参照图像数据,所述初始校正数据是在包含显示所述参照图像的显示部的电子设备的制造阶段生成的,根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果,生成所述校正数据。
作为本发明一实施方式的图像控制程序是用于对校正图像生成***中的所述图像的显示不均进行校正的图像控制程序,所述校正图像生成***包括:电子设备的本体,其包括:显示部,其基于图像数据显示图像;存储部,其存储校正了参照图像数据的规定的图像数据;校正数据生成部,其生成所述图像数据的校正数据;图像数据校正部,其校正所述图像数据;以及摄像部,其摄像被摄体,所述规定的图像数据是通过在所述电子设备的制造阶段生成的初始校正数据对所述参照图像数据进行校正后的校正参照图像数据,所述图像控制程序使所述校正图像生成***执行以下步骤:第一步骤,使所述显示部基于所述修正参照图像数据显示参照图像;第二步骤,通过使所述摄像部摄像所述参照图像来获得摄像图像数据;第三步骤,使所述校正数据生成部根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果来生成所述校正数据;以及第四步骤,使所述图像数据校正部使用所述校正数据来校正所述图像数据。
作为本发明的一实施方式的记录介质是存储有上述图像控制程序的能够由计算机读取的非暂时性的记录介质。
有益效果
根据本发明的一个实施方式的校正图像生成***、图像控制方法、图像控制程序以及记录介质,能够适当地消除电子设备的使用开始后产生的随时间劣化引起的显示不均。
附图说明
图1A是表示本发明的第一实施方式的一设备构成即校正图像生成***的立体图。
图1B是表示本发明的第一实施方式的一设备构成即校正图像生成***的立体图。
图1C是表示本发明的第一实施方式的一设备构成即校正图像生成***的立体图。
图2是表示在本发明的第一实施方式的一设备构成即校正图像生成***的显示部所显示参照图像的情况下的校正图像生成***的本体的示意性主视图。
图3是示意性地表示图2所示的映出到镜上的校正图像生成***的本体的显示部所显示的摄像图像和从摄像图像中剪切显示图像而得到的图像的主视图。
图4是表示作为本发明的第一实施方式的校正图像生成***的构成的概要的框图。
图5是表示作为本发明的第一实施方式的校正图像生成***所包含的显示部的构成的概要的电路图。
图6是表示图5所示的电路的电压亮度特性的概要的曲线图。
图7是表示作为本发明的第一实施方式的图像控制方法中的图像数据的校正方法的概要的框图。
图8A是表示作为本发明的第二实施方式的图像控制方法的一部分的流程图。
图8B是表示作为本发明的第二实施方式的图像控制方法的一部分的流程图。
图9是表示作为本发明的第三实施方式的图像控制方法的一部分的流程图。
具体实施方式
(第一实施方式的设备构成)
以下,参照附图说明本发明的第一实施方式的校正图像生成***。图1A~1C以立体图表示本实施方式的校正图像生成***的设备构成。另外,在包括本实施方式的以下的实施方式中,一般将在显示部所显示的显示图像中产生某些不均的状态设为“显示不均”,“显示不均”是包括色度不均和亮度不均等显示图像的不均的状态的显示不均。此外,在各附图中,对具有相同功能的部分标注相同的附图标记。
图1A所示的设备构成表示校正图像生成***作为平板PC(Personal Computer)或智能手机等便携设备10A一体化的情况。便携设备10A在一个作为电子设备的本体11中内置有用于发挥作为便携设备10A的各种功能的各种装置,具备显示静态图像或动态图像的显示部20和摄像静态图像或动态图像的摄像部30等(在图1A中,显示部20和摄像部30分别映出至镜M。)。即,在该设备构成中,摄像部30通过与显示部20一起内置于本体11,从而与本体11一体形成。
便携设备的本体11例如形成为大致长方体形状,具有作为构成大致长方体形状的表面之一的第一面11a(在图1A中,第一面11a映出至镜M)和作为第一面11a的相反面的第二面11b。而且,显示部20和摄像部30以使显示部20的显示面20a和摄像部30的摄像窗30a向第一面11a的方向露出的方式安装于本体11。在此,在图1A所示的设备构成中,摄像部30也可以始终从本体11突出地形成,也可以只在使用时从本体11突出的方式(即,只在必要时以从本体11突出的方式,以将电动机或弹簧等驱动机构装备在摄像部30或本体11上的方式)从本体11出入自如地形成。也就是说,只要显示部20的显示面20a和摄像部30的摄像窗30a以向第一面11a的方向露出的方式安装,无论显示部20及摄像部30安装于本体11的第一面11a,还是从本体11突出均可。在这种便携设备10A的构成中,摄像部30的摄像窗30a朝向与显示部20的显示面20a相同的方向,因此通过将便携设备10A的显示部20映出到镜M,摄像部30能够摄像显示部20的显示图像。
图1B所示的设备构成表示校正图像生成***是具备从电子设备的本体11拆装自如的摄像部30的便携设备10B的情况。具体而言,例如,通过本体11具备雌的电连接器111,摄像部30具备对应的雄的电连接器121,从而摄像部30能够经由基于雌雄的电连接器111、121的机械结合的有线通信与本体11进行通信。摄像部30可以通过Bluetooth(注册商标)、Wi-Fi(注册商标)等无线通信与本体11可通信地连接。此外,摄像部30可以通过基于嵌合等机械结合的有线通信以及无线通信双方与本体11可通信地连接。电连接器111、121的雌雄可以相反,摄像部30可以是本体11的专用部件,也可以是与其他***共用的部件。即,在该设备构成中,摄像部30包括进行本体11上的安装和安装的解除的拆装机构。
图1C所示的设备构成表示校正图像生成***例如为具有两个设备的***10C的情况,所述两个设备具备作为显示设备的电子设备的本体11和作为摄像设备的其他设备12的摄像部30。在图1C所示的例子中,摄像部30通过电缆线13等有线与本体11可通信地连接,但也可以通过无线与本体11可通信地连接。即,在该设备构成中,摄像部30由本体11与其他设备12来形成,摄像部30通过有线或无线与本体11连接。
在这样的本实施方式中,以图1A所示的便携设备10A的设备构成为例,参照图1A、图2和图3,对消除显示部20所显示的显示图像中包含的显示不均的概略顺序进行说明。图2表示从电子设备使用开始后经过了时间的便携设备10A的第一面11a,表示基于修正参照图像数据使显示部20显示参照图像时的状态。在此,“参照图像”是指为了视觉上识别显示图像中包含的显示不均而使用的图像,“参照图像数据”是指成为用于显示参照图像的基础的图像数据。此外,“初始校正数据”是指为了消除在电子设备的制造阶段产生的初始显示不均而校正图像数据的数据,“修正参照图像数据”是指通过初始校正数据对参照图像数据进行校正后的数据。另外,“制造阶段”是指具备显示部20的电子设备出厂为止的制造工艺中的任一个阶段,不仅包括本体11的制造工艺,还包括显示部20的制造工艺以及直到完成电子设备为止的显示部20等构成要素的制造工艺的阶段。
例如,在参照图像数据是单一灰度值的灰色标度(gray scale)的图像数据的情况下,当基于修正参照图像数据在显示部20显示参照图像时,主要消除了因构成子像素的TFT等的开关元件特性的制造偏差引起的初始显示不均,因此,要在显示部20上,将相同的对比度的灰色图像作为显示图像显示在显示面20a的整个面。但是,例如,对于构成显示部20的像素的每个元件,由于电子设备的使用开始后的特性的随时间劣化不一样,因此在显示图像中产生变亮显示的部分(以下,称为“显示不均的亮部”)U2、U3和变暗显示的部分(以下,称为“显示不均的暗部”)U1、U4。这些显示不均的亮部U2、U3和暗部U1、U4仅反映在电子设备的使用开始后产生的显示不均,主要是因构成各子像素的有机EL元件等像素元件的特性的随时间劣化的偏差而引起的。用户在视觉辨认出显示不均的U1~U4的情况下,例如通过显示部20的触摸操作,开始执行后述的图像控制程序。并且,如图1A所示,用户在镜M上映出显示图像之后,如图3所示,使用摄像部30对显示部20的显示图像进行摄像,从而获取摄像图像数据。此时,在镜M中映出的图像是显示图像的镜像。之后,如后所述,存储在本体11中的图像控制程序进行对摄像图像数据中仅与显示图像对应的部分进行剪切的图像处理,通过将得到的剪切后的摄像图像数据等与修正参照图像数据等进行比较,使便携设备10A执行用于消除电子设备的使用开始后的显示不均的U1~U4的校正数据的生成。然后,根据所得到的校正数据对显示部20所显示的任意的图像数据进行校正,从而在便携设备10A的显示部20显示消除了显示不均U1~U4的显示图像。这样,通过使用镜M,即使在摄像部30是与电子设备的本体11一体的便携设备10A的情况下,也无需另外准备与本体11独立的摄像装置,能够通过摄像显示图像的镜像来获得摄像图像数据。
在图1B所示的便携设备10B的设备构成以及图1C所示的***10C的设备构成中,能够使摄像部30与显示部20直接相对,因此未必需要如图1A所示的便携设备10A那样在镜M上映出显示图像,也可以通过摄像部30直接摄像显示图像。
即,本实施方式的各设备构成在便携设备10A、10B或***10C的本体11内,如后所述,具备用于配合电子设备在使用开始后的显示部20的随时间劣化的程度来校正任意的图像数据的各功能。因此,用户在电子设备使用开始后产生因随时间劣化而引起的显示不均的情况下,无需将显示部20更换为新品,因此,不用为了更换而特意地将设备带入修理店或呼叫修理操作者,通过简单的方法就能够根据用户自己以期望的定时适当地消除显示部的显示不均。
(第一实施方式的模块构成)
接着,说明上述设备构成的校正图像生成***的模块构成的概要。在图4中,用框图表示本发明的第一实施方式的校正图像生成***的结构的概要。另外,图1A所示的便携设备10A、图1B的便携设备10B以及图1C的***10C在图4中作为校正图像生成***10而表示。
如图4所示,本实施方式的校正图像生成***10具备显示部20、摄像部30、控制部40以及检测部50。
显示部20是基于图像数据显示图像的部分,例如具备显示面板21和驱动显示面板的显示驱动部22,该显示面板21由有源矩阵型的有机EL显示面板、液晶显示面板等构成。
如图5所示,显示面板21包括构成显示图像的像素,一个像素包括:由分别发出红色光、绿色光和蓝色光的R(红色)子像素、G(绿色)子像素和B(蓝色)子像素等构成的多个子像素211(在图5中,为了简化说明,仅表示了一个子像素211)。并且,例如在显示面板21是有机EL显示面板的情况下,各子像素211具备:像素元件211e,其由调整红色光、绿色光或蓝色光的发光强度的有机EL元件构成;驱动用开关元件211d,其由用于向像素元件211e供给电力的TFT等构成;选择用开关元件211s,其由用于选择子像素211的TFT等构成;电容元件211c,其由蓄积电荷的电容器等构成;以及分别输入数据信号和扫描信号的数据线21D以及扫描线21S等。
此外,显示驱动部22具备生成数据信号并将其提供给数据线21D的数据线驱动部22D以及生成扫描信号并将其提供给扫描线21S的扫描线驱动部22S。
具体而言,扫描线21S与选择用开关元件211s的栅极连接,在向扫描线21S输入高电平的扫描信号的情况下,选择用开关元件211s成为导通。另一方面,数据线21D与选择用开关元件211s的源极及漏极的一方连接,在选择用开关元件211s成为导通的情况下,对与选择用开关元件211s的源极及漏极的另一方连接的驱动用开关元件211d的栅极输入与数据信号对应的数据电压V。数据电压V通过电容元件211c保持规定期间,该电容元件211c连接在驱动用开关元件211d的栅极与源极或漏极之间。
驱动用开关元件211d的漏极以及源极的一方与电源电极Vp连接,另一方与像素元件211e的阳极电极连接。像素元件211e的阴极电极与公共电极Vc连接。并且,在上述的规定期间,驱动用开关元件211d成为导通的情况下,根据数据电压值V,元件电流值I流向像素元件211e,从而在图6所示的特性中,红色光、绿色光或蓝色光根据数据电压值V以亮度L发光。另外,关于数据电压值V与亮度L的关系,将在后面说明。
这样,构成显示面板21的多个像素所包含的各子像素211的像素元件211e被数据信号和扫描信号控制,因此基于任意的图像数据,显示部20能够在显示面20a上显示图像。并且,本实施方式的校正图像生成***10主要为了补充像素元件211e的发光特性的随时间劣化而生成后述的校正数据。与此同时,根据该校正数据,还补充选择用开关元件211s以及驱动用开关元件211d的开关元件特性的随时间劣化。
返回图4,摄像部30是摄像被摄体的部分,具备:摄像元件31,其获得来自从图1等表示的摄像窗30a入射的被摄体的光作为摄像图像数据;透镜组32,其使被摄体成像于摄像元件31的摄像面;以及致动器33,其使摄像元件31和透镜组32中的至少一方位移。
摄像元件31由CCD(Charge-Coupled Device)图像传感器、CMOS(ComplementaryMetal Oxide Semiconductor)图像传感器等构成。摄像元件31也可以基于后述的照度调整信号来调整摄像灵敏度。
透镜组32具备:聚焦透镜,其与被摄体对焦;校正透镜,其校正光路,以使被摄体的成像纳入摄像元件31的摄像面;以及光圈机构及快门机构等,其分别通过使光圈的大小及快门速度变化来调整摄像元件31的曝光量。另外,在本说明书中,“与被摄体对焦”以及与其类似的表达是指被摄体的成像面与摄像元件的摄像面的偏移收敛在允许范围(焦点深度)内,在外观上与被摄体对焦的状态。
致动器33由音圈马达、压电元件或者形状记忆合金等构成,与摄像元件31或者透镜组32的校正透镜结合。致动器33基于后述的手抖动校正信号,使摄像元件31或者透镜组32的校正透镜沿抵消摄像部30的摆动的方向相对于摄像部30进行相对位移,由此抑制由所谓的手抖动引起的对摄像图像数据的不良影响。代替该构成,也可以将摄像元件31和透镜组32作为一个单元,将该单元与致动器33结合。在该情况下,致动器33使一体的摄像元件31和透镜组32相对于摄像部30进行相对位移,由此抑制手抖动对摄像图像数据的不良影响。
此外,致动器33与透镜组32的聚焦透镜结合。由此,致动器33基于后述的焦点调整信号使聚焦透镜位移,因此摄像部30能够使焦点自动对准被摄体。进而,致动器33与透镜组32的光圈机构及快门机构结合,通过输入后述的照度调整信号,摄像部30能够分别调整光圈的大小和快门速度。此外,当与被摄体对焦一次时,即使被摄体移动,致动器33也可以自动追踪聚焦镜头以继续对焦的方式移位。
控制部40是构成校正图像生成***10的各部分的控制和数据的运算处理等的部分,具备CPU(Central Processing Unit)、DRAM(Dynamic Random Access Memory)或SRAM(Static Random Access Memory)等RAM(Random Access Memory)、闪存或EEPROM(Electrically Erasable Programmable Read-Only Memory)等ROM以及这些的周边电路等。控制部40能够执行存储于后述的作为存储部48发挥作用的ROM的控制程序,此时,将作为后述的临时存储部49发挥作用的RAM用作工作区域。控制部40通过执行存储于ROM的图像控制程序,作为校正数据生成部41、图像数据校正部42、手抖动校正部43、焦点调整部44、曝光调整部45、操作判定部46、操作图像生成部47、存储部48以及临时存储部49发挥功能。
校正数据生成部41是为了消除显示部20所显示的显示图像的显示不均而生成校正图像数据的校正数据的部分,具备图像处理部411、灰度差生成部412、显示不均判定部413、灰度调整部414和校正值生成部415等。具体而言,校正数据生成部41根据显示部20所显示的图像的显示图像数据或者基于显示图像数据的数据与修正参照图像数据或者基于修正参照图像数据的数据的比较结果来生成校正数据。在此,“基于显示图像数据的数据”包含使显示图像数据反转后的数据以及调整该图像数据的灰度值的数据,“基于修正参照图像数据的数据”包含使修正参照图像数据反转后的数据。此外,“使图像数据反转”是指在图像数据的坐标的各行中,在以中央列为对称轴对称的两个坐标间调换各自的灰度值,使所谓的图像数据为“左右反转”。此外,“调整灰度值”是指以变更显示图像的明暗的对比度的方式,一致地变更对应的图像数据的全部坐标的灰度值。
在此,在本实施方式中,作为显示图像数据,使用通过由摄像部30摄像获得的摄像图像数据。也就是说,在本实施方式中,获得显示部20所显示的表图像的显示图像数据作为摄像图像数据。此外,如后所述,校正数据生成部41不仅在生成对包含显示部20的便携设备10A、10B、***10C的显示设备等的电子设备的使用开始后产生的显示不均进行校正的校正数据时使用,也可以在生成初始校正数据时使用。校正数据对应于图像数据的各坐标(与显示面板21的一个像素对应的地址)而生成。在此,“坐标”不仅包含与一个像素或一个子像素对应的图像数据中的一个坐标,还包含与将显示面20a等分割的显示区域对应的图像数据中的坐标组。即,校正数据生成部41也可以不是对与一个像素或一个子像素对应的图像数据中的每个坐标计算校正数据,而是对与显示区域对应的每个坐标组计算校正数据。
图像处理部411通过执行从摄像图像数据中仅对与显示图像对应的部分进行剪切的图像处理,以获得在生成校正数据时要使用的摄像图像数据。此外,在如图1B所示的摄像部30与本体11拆装自如的设备构成的情况下,图像处理部411优选通过输入后述的拆装检测信号来判定摄像部30相对于本体11的拆装状态。此外,在作为便携设备10B的设备构成中,在判定摄像部30从本体11上被拆下的情况下,或者在图1C所示的作为***10C的设备构成的情况下,图像处理部411优选判定由摄像部30摄像到的参照图像是否为映出到镜M上的镜像。如后所述,图像处理部411例如也可以根据摄像图像数据或基于摄像图像数据的数据所包含的识别标记R来执行该判定。
在参照图像为镜像的状态下进行摄像的情况下,无法简单地将所获得的摄像图像数据与修正参照图像数据进行比较。因此,图像处理部411在判定为参照图像是镜像的情况下,为了使摄像图像数据与修正参照图像数据的比较变得容易,优选进行使摄像图像数据和修正参照图像数据中的任一方反转的图像处理。在该情况下,校正数据生成部41优选基于反转的摄像图像数据与修正参照图像数据的比较结果或者摄像图像数据与反转的修正参照图像数据的比较结果来生成校正数据。
使用修正参照图像数据显示于显示部20的参照图像在消除了电子设备的制造阶段产生的初始显示不均的状态下而被显示,因此,该参照图像产生的显示不均成为在电子设备的使用开始后产生的显示不均。在该情况下,用户具有如下优点:在该使用开始后的显示不均成为能够视觉辨认的程度的时刻,通过执行后述的图像控制程序,能够消除显示不均。
图像处理部411在图1B和图1C所示的设备构成的情况下,如后所述,优选判定摄像图像的朝向,在通过摄像部30摄像的参照图像的朝向与通过显示部20显示的参照图像的朝向不同的情况下,进行使摄像图像数据的朝向与修正参照图像数据的朝向一致的图像处理。
灰度差生成部412生成摄像图像数据或由后述的灰度调整部414生成的修正摄像图像数据与修正参照图像数据的差分即灰度差数据。在此,在基于修正参照图像数据显示于显示部20的参照图像中,仅反映电子设备的使用开始后的显示不均,在修正参照图像数据中,反映了用于消除在电子设备的制造阶段中产生的初始显示不均的校正,因此与初始显示不均以及使用开始后的显示不均对应的坐标的灰度差数据成为“0”以外的值。此外,在便携设备10A、10B、显示设备10C等电子设备的制造阶段中,灰度差生成部412也可以同样地生成摄像图像数据或修正摄像图像数据与参照图像数据的差分即初始灰度差数据。
显示不均判定部413基于从灰度差生成部412输入的灰度差数据,判定初始显示不均以及使用开始后的显示不均的明暗。具体而言,例如,显示不均判定部413在灰度差数据中将作为“0”的坐标设为没有显示不均,将正值的坐标设为亮度不均的亮部,将负值的坐标判定为亮度不均的暗部。
即使摄像图像数据的灰度值(参照图像中的整体亮度)通过后述的曝光调整部45等的调整,与要比较的修正参照图像数据的灰度值也未充分一致的情况下,灰度调整部414生成修正摄像图像数据,该修正摄像图像数据调整了摄像图像数据的灰度值。具体而言,灰度调整部414通过在各坐标中以一定的值对摄像图像数据的灰度值进行相乘,从而计算出相乘后的摄像图像数据的灰度值与修正参照图像数据的灰度值最吻合的相乘值,使用计算出的相乘值来生成摄像图像数据的各坐标的灰度值相乘后的修正摄像图像数据。另外,在通过曝光调整部45的调整,以摄像图像数据的灰度值与修正参照图像数据的灰度值最吻合的方式生成的情况下,灰度调整部414也可以不修正摄像图像数据。灰度调整部414在电子设备的制造阶段中也同样地,可以生成修正参照图像数据,但在该情况下,要与摄像图像数据进行比较的数据是参照图像数据。
校正值生成部415基于摄像图像数据或修正摄像图像数据,根据图像数据的灰度值与输入到子像素211的像素元件211e的数据电压值V等的关系来生成每个坐标的校正参数作为校正值表。此外,校正值生成部415可以基于从显示不均判定部413输入的灰度差数据所导致的显示不均的明暗中的任一个判定结果来生成校正数据,以校正与特定组合相应的坐标的灰度值,并维持与特定组合不符的坐标的灰度值。具体而言,也可以如后述的图像处理方法的实施方式那样,例如,通过维持作为显示不均的暗部也是初始显示不均的暗部的坐标的灰度值,并调整其以外的显示不均的坐标的灰度值,从而生成校正数据。此外,在电子设备的制造阶段中也同样地,校正值生成部415也可以基于摄像图像数据或修正摄像图像数据来生成每个坐标的初始校正参数作为初始校正值表。在该初始修正值表中存储用于仅消除初始显示不均的校正参数。另外,上述的灰度差数据以及校正值表包含在校正数据中,上述的初始灰度差数据以及初始校正值表包含在初始校正数据中。
在此,在本实施方式中,基于仅反映了电子设备在制造阶段产生的初始显示不均以及使用开始后的显示不均的摄像图像数据、修正摄像图像数据或使它们中的任一图像数据反转后的数据与修正参照图像数据或使其反转后的数据的比较结果来生成校正数据,因此校正数据生成部41生成消除初始显示不均以及使用开始后的显示不均的每个坐标的校正参数作为校正值表。
图像数据校正部42是使用由校正数据生成部41生成的校正数据校正任意的图像数据的部分,具备坐标产生部421、校正数据输出部422、乘法器423、加法器424等。
如图7所示,坐标产生部421基于与图像数据同步的同步信号,生成与图像数据中的坐标对应的坐标信号,并输入到校正数据输出部422。
校正数据输出部422将与坐标信号对应的校正参数输出到乘法器423和加法器424。具体而言,校正数据输出部422通过从存储于存储部48的校正值表读出而将它们存储于临时存储部49,之后,将与从坐标产生部421输入的坐标信号的坐标对应的坐标的及校正参数输出到乘法器423和加法器424。即,校正数据输出部422通过校正参数来校正在电子设备的制造阶段产生的初始显示不均以及电子设备的使用开始后产生的显示不均。另外,校正数据输出部422在从开始使用电子设备时到生成校正数据时为止的期间,也可以将其输出到乘法器423和加法器424。
返回到图4,手抖动校正部43基于由后述的手抖动检测部51生成的手抖动检测信号,生成用于使摄像元件31或者透镜组32的校正透镜位移的手抖动校正信号。另外,如上所述,当摄像元件31和透镜组32作为一个单元而该单元一***移时,手抖动校正部43生成用于使单元位移的手抖动校正信号。
另外,手抖动校正部43也可以具备如下的功能:使摄像部30获得以比通常短的曝光时间摄像的多个图像数据,并对它们进行对位并重叠,由此进行摄像数据的图像处理,以消除摄像部30的摇晃。在该情况下,为了以电子方式校正摄像图像数据的手抖动,也可以不设置手抖动检测部51,手抖动校正部43生成没有由手抖动引起的不良影响的摄像图像数据来代替手抖动校正信号的生成。此外,手抖动校正部43也可以根据由摄像部30获得的摄像图像数据来推断模糊函数(PSF:Point Spread Function),利用维纳滤镜(Wiener filter)等复原图像,由此生成没有由手抖引起的不良影响的摄像图像数据。在该情况下,出于与上述理由相同的理由,也可以不设置手抖动检测部51,手抖动校正部43生成没有由手抖动引起的不良影响的摄像图像数据来代替手抖动校正信号的生成。
焦点调整部44基于由焦点传感器52生成的焦点偏离检测信号,使透镜组32的聚焦透镜位移,从而生成用于使焦点与被摄体对准的焦点调整信号。
曝光调整部45基于由照度传感器53生成的照度检测信号,生成用于调整摄像元件31的摄像灵敏度、透镜组32的光圈机构及快门机构中的至少一个的照度调整信号。此外,曝光调整部45基于照度检测信号来生成表示校正图像生成***10的周围的照度是否为规定值以下的照度判定信号。
操作判定部46基于由用户界面55生成的操作信号等,生成使校正图像生成***10的各部执行程序的下一步骤的控制信号。
操作图像生成部47基于由曝光调整部45生成的照度判定信号等,从存储于存储部48中的多个操作图像数据中选择特定的操作图像数据,并将所选择的操作图像数据叠加于图像数据上,所述特定的操作图像数据用于显示用户操作触摸面板时的操作图像。
存储部48是存储各种数据的部分,由能够改写的非易失性的存储介质构成,且存储有修正参照图像数据、参照图像数据、初始校正数据、校正图像生成***10的制造阶段的各种特性的数据、操作图像数据等。此外,存储部48可以存储由校正数据生成部41生成的校正数据。进一步地,存储部48也可以存储根据校正数据校正了修正参照图像数据的数据等。
临时存储部49是通过在电子设备的动作中读出存储于存储部48的校正数据等数据来临时存储数据的部分,由读出所存储的数据的读出速度比存储部48快的易失性的存储介质构成。临时存储部49通过在电子设备的动作中从存储部48读出校正数据,能够临时存储校正数据。
检测部50是将校正图像生成***10的内部或外部的物理量作为检测信号而检测出的部分,具备手抖动检测部51、焦点传感器52、照度传感器53、拆装检测部54以及用户界面55。
手抖动检测部51具备陀螺仪传感器511和加速度传感器512,陀螺仪传感器511和加速度传感器512分别检测由摄像部30的摇晃产生的角速度和加速度作为角速度检测信号和加速度检测信号,手抖动检测部51检测摄像部30的摇晃作为包括角速度检测信号和加速度检测信号的手抖动检测信号。
焦点传感器52例如具备相位差传感器、对比度传感器、或这两者,将摄像部30的摄像元件31中的被摄像体的焦点的偏移检测为焦点偏移检测信号。
照度传感器53例如由光电晶体管或光电二极管等构成,将校正图像生成***10的周围的照度检测为照度检测信号。
如图1B所示,在校正图像生成***10是具备从本体11拆卸自如的摄像部30的便携设备10B的情况下,拆装检测部54将摄像部30和本体11的拆装状态检测为拆装检测信号。具体而言,拆装检测部54例如根据设于电连接器111、121的嵌合检测用的一对端子间的导通状态,检测摄像部30是否安装于本体11。
用户界面55例如由触摸面板、按钮或者声音识别单元等构成,将用户的指示检测为操作信号。在用户界面55为触摸面板的情况下,触摸面板配置在显示面板21上,由透光性的材料构成,以透射来自显示面板21的发光。
(第二实施方式)
接着,参照图8A~图9B所示的流程图,说明使用上述校正图像生成***的本发明的第二实施方式的图像控制方法。在这里,流程图所示的图像控制方法通过包含校正图像生成***内的CPU等的计算机执行以下动作:读出ROM中存储的图像控制程序,将RAM作为作业区域,发挥图4等所示的校正图像生成***的各部分的功能。
首先,例如,通过用户触摸显示部20中显示的规定的显示,控制部40的CPU开始图像控制程序,以使校正图像生成***10的各部分进行以下的各步骤的方式执行图像控制程序。即,用户能够视觉辨认在显示部20所显示的显示图像所产生的显示不均U1~U4,并以感到想要消除这一情形的用户自己期望的定时执行图像控制程序。具体而言,例如,用户通过触摸预先显示在显示部20的“显示不均校正开始”的显示,用户界面55生成操作信号,CPU基于所生成的操作信号执行图像控制程序。
接着,显示部20基于修正参照图像数据显示参照图像(图8的S10)。此时,在显示部20显示的参照图像中,消除了在电子设备的制造阶段产生的初始显示不均。如上所述,该初始显示不均主要是因构成子像素211的驱动用开关元件211d和选择用开关元件211s的开关元件特性的制造偏差引起的显示不均。存储部48中预先存储有修正参照图像数据,显示部20基于存储的修正参照图像数据显示参照图像。取而代之,也可以在存储部48中预先存储初始校正数据和参照图像数据。在该情况下,图像数据校正部42使用初始校正数据校正参照图像数据,由此生成修正参照图像数据,显示部20基于生成的修正参照图像数据显示参照图像。通过从存储部48读出用于显示参照图像的数据,从而在图像控制程序开始时可以存储在临时存储部49中。另外,优选以与显示面板21的显示特性相匹配的方式,对修正参照图像数据进行伽马校正等规定的校正之后,显示部20显示参照图像。
在此,对本实施方式中使用的参照图像数据进行说明。参照图像数据由多个静止图像数据构成,例如包括具有单一灰度值的多个图像数据。具体而言,在显示面板21的子像素211由R子像素、G子像素以及B子像素构成的情况下,优选参照图像数据为具有多个图像数据的图像数据组,该多个图像数据按照各色、多个不同的灰度值的每一个灰度值来设置具有红色的单一灰度值、绿色的单一灰度值以及蓝色的单一灰度值的图像数据。例如,在图像数据为8比特(256灰度)的情况下,参照图像数据是灰度的中央值附近的灰度值(例如,灰度值为100)、比灰度的中央值大的灰度值(例如,灰度值为200)以及比灰度的中央值小的灰度值(例如,灰度值为50)的红色、绿色、以及蓝色各3个(合计9个)的图像数据。如果这样使用参照图像数据,则在电子设备的制造阶段中生成用于消除初始显示不均的初始校正数据时,容易在视觉辨认初始显示不均。此外,如果参照图像数据有多个,则准确地生成后述的各坐标的校正值参数。但是,即使有太多的参照图像数据,由于改善显示图像的画质也需要时间,因此存储部48优选以不同的灰度值存储各颜色、两个~五个参照图像数据。此外,参照图像数据也可以是具有多个图像数据的图像数据组,该多个图像数据按多个不同的灰度值的每一灰度值来设置单一灰度值的灰度级的图像数据。灰度的图像由多个颜色的子像素211的发光的混合光构成,因此,如后所述,通过一次参照图像的摄像,能够确定多个颜色的子像素211的显示不均,因此,能够削减校正数据的生成步骤的时间。在该情况下,存储部48优选以不同的灰度值存储三个~五个参照图像数据。此外,参照图像数据也可以是具有规则的灰度值的变化的图像数据,该规则的灰度值的变化的图像数据为具有多个单一色的带状区域的用于显示所谓的彩条的图像数据,或者颜色或浓淡连续或阶段性变化的用于进行所谓的渐变显示的图像数据等,也可以是具备多个这些图像数据的图像数据组。
修正参照图像数据是通过使用初始校正数据校正各参照图像数据而生成的。修正参照图像数据是使用初始校正数据对参照图像数据进行校正以消除初始显示不均的数据,因此,如上所述,在参照图像数据是具有单一的灰度值的图像数据的情况下,修正参照图像数据通过基于初始校正数据的校正而成为具有多个灰度值的图像数据。此外,在参照图像数据是具有规则的灰度值的变化的图像数据的情况下,修正参照图像数据通过基于初始校正数据的校正而成为具有不规则的灰度值的变化的图像数据。
接着,用户判断是否需要用于消除显示不均的校正(S11)。具体而言,例如,显示部20显示参照图像之后,隔着时间间隔,操作图像生成部47使显示部20显示基于将如“需要校正”和“不需要校正”这样的两个操作图像数据重叠在修正参照图像数据上的图像数据的操作图像。然后,当确认在显示单元20上显示的参照图像的识别结果是显示不均U1~U4时,用户通过触摸“需要校正”的操作图像来进入S12。如上所述,该显示不均U1~U4主要起因于构成各子像素的有机EL元件等像素元件的发光特性的随时间劣化的偏差而产生。另一方面,在用户未确认显示不均U1~U4的情况下,通过触摸“不需要校正”的操作图像,结束图像控制程序。
在判断为用户需要用于消除显示不均的校正的情况下,曝光调整部45判定照度是否为规定值以下(S12)。具体而言,在曝光调整部45判定为校正图像生成***10的周围的照度在规定值以下的情况下,操作图像生成部47基于曝光调整部45生成的照度判定信号,使显示部20显示使用了“请摄像显示图像”这样的操作图像数据的操作图像。由此,用户催促摄像在显示部20中显示的参照图像。在用户完成了参照图像的摄像的准备之后,通过触摸上述操作图像,用户界面55生成操作信号,摄像部30根据基于操作信号由操作判定部46生成的控制信号启动。
另一方面,在曝光调整部45判定为周围的照度超过规定值的情况下,基于曝光调整部45生成的照明度判定信号,操作图像生成部47例如使显示部20显示使用了“使照明变暗?”或者“已移动到暗的场所?”等这种操作图像数据的操作图像。用户通过操作图像促使周围的照明变暗,或者移动到暗的场所。然后,例如,在用户移动到暗的场所之后,通过触摸上述操作图像,用户界面55生成操作信号,曝光调整部45根据基于操作信号由操作判定部46生成的控制信号,再次判定照度。
接着,摄像部30通过摄像参照图像来获得摄像图像数据(S20)。摄像图像数据的获得在S12完成后,通过用户触摸上述“请摄像显示图像”那样的操作图像,在摄像部30起动后自动开始。摄像图像数据的获得在修正参照图像数据由图像数据组构成的情况下,显示部20连续显示基于构成图像数据组的多个图像数据的多个参照图像,摄像部30摄像各参照图像而进行。如图1A所示,在校正图像生成***10是作为摄像部30与本体11一体地形成的便携设备10A的设备构成的情况下,摄像部30通常通过摄像参照图像的镜像来获得摄像图像数据。即,在用户携带便携设备10A而在镜M之前站立,并将便携设备10A的第一面11a映出到镜M中的状态下,由摄像部30摄像在显示部20显示的参照图像。另一方面,如图1C所示,校正图像生成***10是作为摄像部30是由本体11与其他设备12形成的***10C的设备构成的情况下,摄像部30通常通过直接摄像参照图像来获得摄像图像数据。即,在用户以携带摄像部30并与本体11对置的方式站立的状态下,通过摄像部30摄像显示部20所显示的参照图像。另外,如图1B所示,校正图像生成***10作为摄像部30从本体11拆装自如的便携设备10B的情况下,用前者、后者的任意方法均能够摄像参照图像。
另外,优选的是,当摄像部30根据控制信号而启动时,手抖动检测部51生成手抖动检测信号,并将其输入到手抖动校正部43,手抖动校正部43基于所输入的手抖动检测信号,生成手抖动校正信号,并将该手抖动校正信号输入到摄像部30的致动器33。在该情况下,致动器33基于输入的手抖动校正信号,使摄像元件31或者透镜组32相对于摄像部30相对地位移。由此,难以在摄像图像中产生所谓的“手抖动”。
此外,优选焦点传感器52生成焦点偏离检测信号,并将其输入到焦点调整部44,焦点调整部44基于输入的焦点偏离检测信号,生成焦点调整信号,并将其输入到摄像部30的致动器33。在该情况下,致动器33基于输入的焦点调整信号,使透镜组32的聚焦透镜相对于摄像元件31相对地位移。由此,在摄像图像数据中难以产生所谓的“离焦”。此外,如果使致动器33暂时对焦于被摄体,则即使被摄体移动,致动器33也可以以自动地追踪而继续对焦的方式使聚焦透镜位移。由此,在校正图像生成***10是便携设备10A、10B的情况下,参照图像的摄像也变得容易。
而且,优选照度传感器53生成照度检测信号,并将其输入到曝光调整部45,曝光调整部45基于所输入的照度检测信号,生成照度调整信号,并将其输入到摄像部30的致动器33。在该情况下,致动器33基于输入的照度调整信号,分别调整透镜组32的光圈机构及快门机构的光圈的大小及快门速度。由此,适当地调整摄像图像数据的灰度值,容易进行摄像图像数据或基于摄像图像数据的数据与修正参照图像数据或基于修正参照图像数据的数据之间的比较。
在S20之后,校正数据生成部41根据摄像图像数据或基于摄像图像数据的数据与修正参照图像数据或基于修正参照图像数据的数据的比较结果生成校正数据(S30)。S30可以在S20完成的阶段自动进行,也可以在S20完成后自动显示“校正显示不均?”这样的操作图像,并通过用户触摸该操作图像来进行。在此,在如图1B所示那样的摄像部30是与本体11拆装自如的设备构成的情况下、或者如图1C所示那样的摄像部30是由本体11与其他设备的设备构成的情况下,摄像部30相对于本体11的相对位置未被固定。因此,在这些设备构成中,在参照图像被直接摄像的情况(被摄像的参照图像不是镜像的情况)下,也有映在镜M上的参照图像被摄像的情况(被摄像的参照图像是镜像的情况)。但是,即使在图1B所示那样的设备构成的情况下,在摄像部30安装于本体11的情况下,也与图1A所示那样的作为便携设备的设备构成的情况同样地,通常用户摄像映在镜M上的参照图像。因此,在图1B所示的设备构成中,在基于从所述拆装检测部54输出的拆装检测信号判定为摄像部30安装于本体11的情况下,也可以判定为校正数据生成部41的图像处理部411是“有使用镜子”。这里,“有使用镜子”是指由摄像部30摄像的参照图像是镜像,“没有使用镜子”是指由摄像部30摄像的参照图像不是镜像。此外,在图1A所示那样的摄像部30为与本体11一体的设备构成的情况下,通常,用户也摄像映在镜M中的参照图像,因此图像处理部411也可以判定为“有使用镜子”。
另一方面,在图1B所示的设备构成中,为了在判定为摄像部30从本体11拆下的情况下或者在图1C所示的设备构成的情况下,能够判定有无使用镜M,优选图像处理部411通过显示在显示部20的显示面20a或者检测设置于本体11的第一面11a的显示面20a周边的部分(本体11的第一面11a的边框部分)的识别标记R来判定有无使用镜M。另外,“第一面11a”是在本体11中显示部20的显示面20a露出的表面。例如,优选在将识别标记显示于显示面20a的情况下(未图示),准备仅在特定的坐标区域(例如,在显示面的四个角中的一个角中占据一定的区域的坐标区域)具有与其它区域的灰度值不同的灰度值的图像数据作为参照图像数据或者修正参照图像数据。即,在显示面20a显示的参照图像中,特定的坐标区域成为用于检测有无使用镜M的识别标记。并且,图像处理部411通过从由摄像部30获得的摄像图像数据检测显示于显示面20a的一部分的识别标记来判定有无使用镜M。此外,在图1B或者图1C所示的设备构成的情况下,由于也可能存在根据用户的摄像部30的便携状态,摄像部30在上下颠倒的状态下摄像参照图像、或者在倾斜的状态下摄像参照图像的情况,因此识别标记也可以用于检测摄像图像数据的朝向(由摄像部30摄像到的参照图像的朝向)。参照图像数据或者修正参照图像数据既可以为包含识别标记的状态,也可以是对应于识别标记的图像数据与参照图像数据或者修正参照图像数据分开地存储于存储部48,并在显示部20显示参照图像时,通过将与识别标记对应的图像数据重叠于参照图像数据或者修正参照图像数据来显示包含识别标记的参照图像。
在识别标记R设置于本体11的情况下,图像处理部411通过从由摄像部30获得的摄像图像数据检测设置于显示面20a周边的部分的识别标记R,来判定摄像图像数据的朝向以及有无使用镜M。在此,为了判定有无使用镜M及摄像图像数据的朝向,也可以不必追加设置识别标记R。例如,作为识别标记R,也可以在本体11的第一面11a的显示面20a周边的部分上印刷或刻印特定的形状、花纹、色彩等。例如,在第一面11a显示的标志标记也可以用作识别标记R。另外,在图1C所示那样的设备构成的情况下,用户直接摄像参照图像的可能性高,因此图像处理部411也可以不考虑有无使用镜M而判定为“没有使用镜”。此外,如果以摄像部30的摄像窗成为偏离大致长方形的本体11的第一面11a的纵横的中央线的位置的方式将摄像部30设置于本体11,则摄像部30的摄像窗30a可成为识别标记R。
然后,图像处理部411在基于识别标记R的检测结果判定为“有使用镜”的情况下,优选进行使摄像图像数据及参照图像数据中的某一方反转的图像处理。另外,在为图1A所示的设备构成的情况下、或者为图1B所示的设备构成且在摄像部30安装于本体11的状态下获得摄像图像数据的情况下,图像处理部411也可以在获得摄像图像数据时,预先判定为“有使用镜子”。此外,如上所述,在摄像图像数据的朝向与参照图像数据的朝向(由显示部20显示的参照图像的朝向)不同的情况下,图像处理部411也可以进行使摄像图像数据的朝向与参照图像数据的朝向一致的图像处理。在这种情况下,当参照图像由以-θ度(θ:0度~360度的任意角度)倾斜的状态的摄像部30摄像时,图像处理部411将摄像图像数据的坐标以+θ度转换(使摄像到的参照图像仅旋转θ度)。
这样,也可以根据设备构成,判定有无使用镜M、摄像图像数据的朝向,在进行对摄像图像数据的反转、朝向进行校正的图像处理之后,如图3所示,图像处理部411从摄像图像数据剪切参照图像的部分。以下,为了便于说明,将进行了这样的图像处理的摄像图像数据简称为摄像图像数据。此外,使参照图像数据反转后的数据也简称为参照图像数据。
在即使通过曝光调整部45调整摄像图像数据的灰度值,摄像图像数据的灰度值与修正参照图像数据的灰度值也不充分一致(摄像得到的摄像图像的对比度与显示的显示图像的对比度不一致)的情况下,灰度调整部414通过用一定值乘以摄像图像数据的各坐标的灰度值,计算出相乘后的摄像图像数据的灰度值与修正参照图像数据的灰度值最一致的相乘值。在该情况下,灰度调整部414使用计算出的相乘值来生成将摄像图像数据的各坐标的灰度值相乘后的修正摄像图像数据。具体而言,以摄像图像数据的各坐标的灰度值与修正参照图像数据的各坐标的灰度值最多一致的相乘值,乘以摄像图像数据的各坐标的灰度值,从而生成修正摄像图像数据。另外,如上所述,摄像图像数据为基于进行了伽马校正等规定的校正之后的修正参照图像数据而显示的参照图像,因此在要一致的修正参照图像数据中也进行了伽马校正等规定的校正。另一方面,如上所述,在以摄像图像数据的灰度值预先与修正参照图像数据的灰度值最一致的方式生成的情况下,灰度调整部414也可以不生成修正摄像图像数据。在该情况下,在以下说明的各坐标的校正参数的生成中,使用摄像图像数据而不是修正摄像图像数据。
接着,灰度差生成部412生成修正摄像图像数据与修正参照图像数据的每个坐标的差即灰度差数据。在此,灰度差生成部412也可以通过提取差分值超过容许值的坐标来生成灰度差数据,以避免用户对无法视觉辨认的显示不均过敏。在该情况下,关于差分值超过容许值的坐标,将实际的差分值存储在灰度差表中,关于差分值在容许值以内的灰度值的坐标,将差分值作为“0”存储在灰度差表中。灰度差表的值为“0”的坐标设为未产生初始显示不均以及使用开始后的显示不均的坐标,关于该坐标,如后所述,校正值生成部415不生成校正参数。灰度差生成部412作为容许值,例如,在设全坐标的灰度值的标准偏差为σ时,优选设为0.5σ~1.0σ之间的值。
然后,校正值生成部415基于从灰度调整部414输入的修正摄像图像数据,根据图像数据的灰度值与向子像素211的像素元件211e供给的电力的关系,生成存储每个坐标的校正参数的校正值表。具体而言,输入到子像素211的数据电压值V与从像素元件211e发出的光的亮度L的关系(以下称为“V-L特性”)在图6的图表中表示。未产生显示不均的子像素211的V-L特性以及与其对应的伽马校正后的图像数据的灰度值G与像素元件211e的亮度L的特性(G-L特性)通过显示部20或校正图像生成***10的制造阶段的各种特性的测定结果而获得,并存储于存储部48。例如,未产生显示不均的子像素211的V-L特性C0用[数学式1]表示。
L=α×(V-V0) [数学式1](V0:偏移电压,α:V-L曲线的增益)
与数学式1对应的伽马校正后的图像数据的灰度值G和亮度L的特性(G-L特性)用[数学式2]表示。
L=β×G [数学式2](β:G-L曲线的增益)
成为显示不均的亮部或暗部而产生显示不均的子像素211各自的V-L特性C1、C2用[数学式3]表示。
L=(α+Δα)×(V-(V0+ΔV0)) [数学式3](ΔV0:偏移电压的偏移量,Δα:V-L曲线的增益的偏移量)
与数学式3对应的G-L特性用[数学式4]表示。
L=(β+Δβ)×(G-ΔG0) [数学式4](ΔG0:灰度值的偏移量,Δβ:G-L曲线的增益的偏移量)
因此,在产生显示不均的子像素211,如果将图像数据的灰度值G转换为[数学式5]所示的灰度值G’,则不产生显示不均。
G’=ΔG0+(Δβ/(β+Δβ))×G [数学式5]
这样,计算出考虑了G-L曲线的增益的偏移量的相乘值A([数学式5]中,(Δβ/(β+Δβ))以及考虑了G-L特性中的灰度值G的偏移量的相加值B([数学式5]中,ΔG0)。校正值生成部415通过使用[数学式4]来计算图像数据中的产生显示不均的坐标的两种偏移量(ΔG0、Δβ),从而生成由用于消除显示不均的相乘值A以及相加值B构成的校正参数。
校正值生成部415例如以如下方式生成校正参数。例如,首先,校正值生成部415确定在灰度差数据中差分值不是“0”的产生了初始显示不均以及使用开始后的显示不均的坐标。接着,校正值生成部415在修正摄像图像数据及修正参照图像数据中,将所确定的坐标的灰度值GU1及GR1分别对照(灰度值GR1表示为了应对所意图的子像素211的亮度而进行了消除初始显示不均的校正的灰度值,灰度值GU1表示为与因使用开始后的显示不均而成为不期望的亮度的实际的子像素211的亮度对应的灰度值)。此外,校正值生成部415使用[数学式4]及作为对象的坐标的对应的初始校正参数,计算灰度值GR1中期望的子像素211的亮度LR1(与图6中的V-L特性C1或C2中数据电压值V为V1的情况下的亮度LU对应)。与此相对,灰度值GU1的实际子像素211的亮度LU1(在图6中的从V-L特性C1或C2进一步变化的V-L特性C1’或C2’中,与数据电压值V为V1的情况下的亮度LU’对应)由于图像数据的灰度值与子像素211的亮度L成比例,由[数学式6]表示。
LU1=GU1/GR1×LR1 [数学式6]
这样,能够计算出产生显示不均的子像素211的灰度值GR1时的亮度LU1。进而,利用与上述方法相同的方法,计算产生其它灰度值GR2中的显示不均的子像素211的亮度LU2。即,在[数学式4]中,由于要求出的校正参数有两个(A和B),因此通过使用上述方法,校正值生成部415根据基于两个不同灰度值的修正参照图像数据的两个不同参照图像获得两组灰度值和电流值,并根据[数学式4]按产生显示不均的子像素211计算偏移量(ΔG0、Δβ)。然后,校正值生成部415根据计算出的偏移量(ΔG0、Δβ)和[数学式5]进一步计算相乘值A和相加值B,从而生成一个子像素211的校正参数,并对产生显示不均的每个子像素211进行该操作,从而生成存储有与各子像素211对应的图像数据的坐标的校正参数的校正值表。在显示面板21的子像素211由R子像素、G子像素及B子像素构成的情况下,校正值生成部415通过分别摄像两个基于上述红色的修正参照图像数据、绿色的修正参照图像数据及蓝色的修正参照图像数据的红色的参照图像、绿色的参照图像及蓝色的参照图像,针对各颜色获得两个修正摄像图像数据,并根据由此得到的两组灰度值及电流值和[数学式4]~[数学式6]生成各颜色的校正参数。存储所生成的校正参数的校正值表与上述灰度差数据一起包含于校正数据。由此,得到用于消除电子设备在制造阶段产生的初始显示不均以及使用开始后产生的显示不均的校正数据。生成的校正数据例如存储在临时存储部49中。上述的初始校正数据通过与其相同的方法,在电子设备的制造阶段中,通过使用参照图像数据摄像显示的参照图像获得摄像图像数据,并根据摄像图像数据或基于上述摄像图像数据的数据与参照图像数据或基于参照图像数据的数据的比较结果而生成的。初始校正数据是为了校正电子设备在制造阶段产生的显示不均而在电子设备的制造阶段生成的校正数据,预先存储于存储部48。
在此,设为存在两个偏移量(ΔG0、Δβ),生成两个校正参数,但也可以仅生成一个偏移量(ΔG0或Δβ),生成校正参数(A或B)。由于相乘值A以及相加值B分别仅依赖于偏移量Δβ以及ΔG0的一方,所以在偏移量仅为一个的情况下,校正参数也成为一个。在该情况下,由于要计算的校正参数是一个,因此能够根据一组电压值、电流值(即,一个摄像图像数据)和数学式2生成校正参数的值。进一步地,摄像部30也可以通过摄像使用三个以上(n个)不同灰度值的修正参照图像数据显示的参照图像来获得三个以上(n个)不同摄像图像数据,根据灰度值接近的两组灰度值及电流值和[数学式4]~[数学式6],计算多个(n-1个)偏移量(ΔG0、Δβ),生成校正参数。在该情况下,在某接近的两个灰度值之间的灰度值中,应用使用这两组灰度值以及电流值生成的校正参数,在另一接近的两个灰度值之间的灰度值中,应用使用这两组灰度值以及电流值计算出的其他校正参数。由此,得到更准确的校正参数。
校正值生成部415也可以设为产生了显示不均的坐标和未产生显示不均的坐标之间的伽马校正前的参照图像数据的灰度值一致,生成对G-L特性进行校正的校正参数。在该情况下,校正值生成部415根据未进行伽马校正的G-L特性生成校正参数,因此,生成存储有包含伽马校正的校正参数的校正值表。此外,校正参数的生成不限于上述的方法,也可以使用表示参照图像数据的灰度值G(与伽马校正的前后无关)、数据电压值V以及子像素211的亮度L中的任意两个相关的任意的函数,计算使用的函数的偏移量,并根据计算出的偏移量生成校正参数。通过使用了校正参数的相乘、相加等,CPU以某种方式进行用于消除显示不均的图像数据的校正即可。
在S30之后,图像数据校正部42使用校正数据生成校正了参照图像数据的二次参照图像数据(S31)。如图7所示,首先,图像数据校正部42基于伽马校正用LUT对参照图像数据的灰度值进行转换,从而在各坐标中同样地进行伽马校正。此时,为了加快图像处理速度,优选通过从存储部48读出伽马校正用LUT,预先储存于临时存储部49。与此并行地,图像数据校正部42将与图像数据同步的同步信号输入至坐标产生部421,坐标产生部421基于输入的同步信号,生成与图像信号中包含的各坐标的灰度信号对应的坐标信号,并输入至校正数据输出部422。校正数据输出部422从存储在临时存储部49的校正值表中读出产生了与输入的坐标信号对应的显示不均的坐标的校正参数,将相乘值A输出到乘法器423,将相加值B输出到加法器424(在S31中,与图7的构成不同,生成的校正数据还没有存储在存储部48)。由此,得到使用校正数据校正参照图像数据的二次参照图像数据。
在S31之后,显示部20显示基于二次参照图像数据的二次参照图像(S32)。如图4所示,在S31中生成的二次参照图像数据与二次参照图像数据的同步信号一起被输入到显示驱动部22。之后,如图5所示,显示驱动部22的数据线驱动部22D及扫描线驱动部22S通过进行规定的数据处理而分别生成数据信号及操作信号。并且,显示面板21基于数据信号和操作信号来显示校正后的图像。
在S32之后,用户判定二次参照图像是否产生了显示不均(S33)。例如,在S32完成之后,操作图像生成部47使显示部20显示使用了“有显示不均”、“无显示不均”这样的两个操作图像数据的操作图像。然后,用户通过触摸操作图像的“有显示不均”或“无显示不均”中的任意一个操作图像,用户界面55生成操作信号,操作判定部46生成与操作信号对应的控制信号。此外,在S32中,可以通过摄像二次参照图像而自动地判定有无显示不均。具体而言,首先,摄像部30通过摄像二次参照图像来获得摄像图像数据。接着,与上述的方法同样地,生成修正摄像图像数据,灰度差生成部412生成修正摄像图像数据与修正参照图像数据之间的灰度差数据。并且,显示不均判定部413例如可以以±1灰度值至±2灰度值作为容许值,在生成的灰度差数据中没有超过容许值的坐标的情况下,判定为未产生显示不均,在不是那样的情况下,也可以判定为未产生显示不均。
在二次参照图像发生了显示不均的情况下,显示部20根据修正参照图像数据显示参照图像,以便根据操作判定部46生成的操作信号再次重复S11~S33(S10)。另外,第二次以后重复时,也可以省略S11和S12中的至少一方。在二次参照图像中未产生显示不均的情况下,校正值生成部415根据操作判定部46生成的操作信号,将用于参照图像数据的校正的校正数据存储于存储部48(S34)。除此之外,校正值生成部415既可以将通过校正数据校正了参照图像数据的数据存储于存储部48,也可以将修正参照图像数据置换为通过校正数据校正修正参照图像数据而得到的数据。由此,校正数据的生成过程结束。
在S34之后,图像数据校正部42通过与S30相同的方法,使用存储于存储部48的最新的校正数据校正任意的图像数据(图8B的S40)。这里,任意的图像数据是在S34之后与显示部20显示的显示图像对应的全部图像数据,包括静态图像的图像数据和动态图像的图像数据两者。此时,通过本实施方式得到的校正数据不仅消除在电子设备的制造阶段中产生的显示不均,还消除在使用开始后产生的显示不均。然后,通过与上述方法相同的步骤,在新的校正数据储存到存储部48为止的期间,图像数据校正部42使用该校正数据校正图像数据。
如上所述,由于临时存储部49由易失性的存储介质构成,因此,在电子设备的电源断开时,删除所存储的校正值表。但是,当电子设备的电源导通时,图像数据校正部42通过从存储部48读出校正值表,从而将它们存储在临时存储部49中。由此,在电子设备的动作中,图像数据校正部42能够从读出速度更快的存储介质读出校正数据,因此,用于校正显示不均的图像数据的图像处理速度变快。另一方面,当电子设备的电源断开时,最新的校正数据持续存储于由非易失性的存储介质构成的存储部48,从而每当电子设备的电源被导通时,无需生成校正数据。但是,图像数据校正部42也可以通过从存储部48直接读出最新的校正值表,并将它们输出到乘法器423以及加法器424,从而对图像数据进行校正。这种情况下,无需设置临时存储部49。另外,在临时存储部49存储校正数据的情况下,如上所述,存储的数据不仅可以是校正值表,也可以是构成校正数据的所有数据。
在S40之后,显示部20基于校正后的图像数据显示图像(S50)。由此,在显示部20显示不仅消除了在制造阶段产生的初始显示不均,而且还消除了由使用开始后的随时间劣化引起的显示不均的显示图像。
根据这样构成的校正图像生成***、图像控制方法以及图像控制程序,显示部20基于修正参照图像数据来显示参照图像,该修正参照图像数据是通过在电子设备的制造阶段生成的初始校正数据校正参照图像数据而得到的。因此,在想要生成用于消除显示不均的校正数据时,在显示部20不显示反映通过初始校正数据已经消除的初始显示不均的参照图像,而显示仅反映在使用开始后产生的显示不均的参照图像。因此,用户主要能够准确地发现因有机EL元件等像素元件211e的随时间劣化的电子设备的使用开始后的随时间劣化,因此能够在需要校正显示图像的适当的时期使校正数据生成部41生成校正数据。
此外,生成校正数据的校正数据生成部41和使用校正数据校正图像数据的图像数据校正部42与显示部20一体地设置于本体11,因此,不论校正图像生成***10是否为与本体11一体地具备摄像部30的设备构成,都能够在操作本体11的用户期望的定时,通过执行图像控制程序,多次改善随时间劣化的显示部20的画质。即,在本体11的存储部48中存储有初始校正数据,该初始校正数据是为了在本体11到达用户的阶段,消除在制造阶段在显示部20产生的初始显示不均而生成的。因此,通过使用初始校正数据,在显示部20显示消除了初始显示不均的图像。但是,随着显示面板21的像素元件211e的随时间劣化的差异,再次在显示部20产生显示不均。在这种情况下,当用户发现了显示部20的显示不均时,通过执行图像控制程序,校正数据生成部41能够基于摄像图像数据或修正摄像图像数据与修正参照图像数据的比较结果来生成校正数据,图像数据校正部42能够利用校正数据校正之后的所有图像数据。由此,用户除了能够消除在电子设备的制造阶段中产生的初始显示不均以外,还能够多次消除在使用开始后产生的显示部20的显示不均。
为了消除使用开始后的显示不均,可以在多次生成了校正数据的情况下,删除在此之前生成的校正数据。或者,也可以将新生成的校正数据替换上次的校正数据。但是,为了消除初始显示不均以及任何时候都能够返回电子设备的出厂时的状态,优选不删除初始校正数据。此外,每当完成S10~S34的一系列的步骤时,存储部48可以存储根据新生成的校正数据校正了参照图像数据的数据,在存储部48存储了修正参照图像数据的情况下,也可以将修正参照图像数据置换为根据校正数据校正了参照图像数据的数据。
进一步地,校正数据生成部41不是分别生成用于校正在电子设备的制造阶段产生的初始显示不均以及在电子设备在使用开始后产生的显示不均的校正数据作为不同的数据,而是生成用于校正这些显示不均的校正数据作为汇总为一个的数据。因此,图像数据校正部42能够不使用多个数据而使用单一的数据来校正图像数据,因此在校正图像数据时对校正数据生成部41的负荷变小。因此,能够在使电子设备稳定地动作的同时校正图像数据。
此外,基于存储在本体11的存储部48中的相同的图像控制程序,在制造阶段生成初始校正数据,在使用阶段生成之后的校正数据,因此不需要考虑初始校正数据与之后的校正数据的互换性。
在从临时存储部49读出校正数据的情况下,图像数据校正部42通过从读出速度更快的存储介质读出校正数据,用于校正显示不均的图像处理速度变快,因此,即使在动态图像那样的数据大小大的图像数据的情况下,也能够顺利地进行图像数据的校正。另一方面,在从存储部48读出校正数据的情况下,无需设置临时存储部49,因此校正图像生成***10的构成简化。
(第三实施方式)
在本发明的第三实施方式的图像控制方法中,在第二实施方式的S30中,校正值生成部415调整摄像图像数据中的显示不均的亮部的灰度值,并维持显示不均的暗部的灰度值,由此生成校正数据。关于此,基于图9所示的流程图,对本实施方式进行说明。另外,本实施方式中生成校正数据的步骤(S30)与第二实施方式不同,因此以下仅针对不同点进行说明。
首先,在S20之后,显示不均判定部413与第三实施方式同样地,基于从灰度差生成部412输入的灰度差数据,针对初始显示不均以及使用开始后产生显示不均的坐标,判定是显示不均是亮部还是暗部(S301)。具体而言,显示不均判定部413将灰度差数据的值为0的坐标设为没有显示不均,将灰度差数据的值为正值的坐标设为亮显示不均,将灰度差数据的值为负值的坐标设为暗显示不均。
在S301中,显示不均判定部413判定该坐标的显示不均是暗部的情况下,在该坐标中,与未产生显示不均的坐标同样地,校正值生成部415不生成校正参数(S304)。另一方面,在不是那样的情况下(即,在S301中,显示不均判定部413判定为是显示不均的亮部的情况下),校正值生成部415如上所述生成校正参数(S305)。
在S304和S305之后,校正值生成部415针对产生了显示不均的所有坐标判定校正参数的生成是否完成(S306)。在完成的情况下,执行图8A所示的S31,在未完成的情况下,校正值生成部415对校正参数的生成未完成的坐标进行S301。
在作为这种构成的本实施方式中,第二实施方式中,针对成为显示不均的亮部及暗部的坐标两者生成校正参数,与此相对地,针对成为显示不均的暗部的坐标不生成校正参数。即,与作为显示不均的暗部的坐标对应的子像素211,预计今后像素元件211e的发光特性的随时间劣化会进展。为了使这样的像素元件211e与其它元件同样地发光,需要校正图像数据的灰度值,以供给比其他元件大的电力。由于该图像数据的校正促进了像素元件211e的劣化。在本实施方式中,对于与这样的子像素211对应的图像数据的灰度值不进行校正,因此能够抑制随时间劣化的促进。
另外,也可以进行本实施方式以外的图像控制,例如,在S30中,校正值生成部415也可以通过调整摄像图像数据中的显示不均的暗部的灰度值,并维持显示不均的亮部的灰度值,从而生成校正数据。在该情况下,作为显示不均,消除了显著的较暗的显示不均,因此能够高效地提高显示部20所显示的图像的画质。
(其他实施方式)
第二实施方式及第三实施方式的图像控制方法通过包含在校正图像生成***10中的计算机使用事先准备的图像控制程序来实现。图像控制程序不仅可以记录在如上述那样的校正图像生成***10所包含的存储部48的ROM,还可以记录在CD-ROM、DVD-ROM、半导体存储器、磁盘、光磁盘、磁带等能够由计算机读取的非暂时性的(non-transitory)记录介质中。图像控制程序通过由计算机从记录介质读出而执行。此外,图像控制程序也可以是能够经由因特网等网络分发的传送介质。
(总结)
本发明形态1的校正图像生成***具备:电子设备的本体,其包括:显示部;存储部,其存储校正参照图像数据后的规定的图像数据的存储部;校正数据生成部,其使用所述显示部中显示的参照图像生成校正数据;图像数据校正部,其使用所述校正数据校正图像数据;以及摄像部,其通过摄像所述参照图像来获得摄像图像数据,所述规定的图像数据是通过在所述电子设备的制造阶段生成的初始校正数据对所述参照图像数据进行校正后的校正参照图像数据,所述显示部基于所述修正参照图像数据来显示所述参照图像,所述校正数据生成部根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果,生成所述校正数据。
根据本发明的形态1的构成,由于在显示部上显示仅反映了在使用开始后产生的显示不均的参照图像,而不显示反映电子设备的制造阶段产生的显示不均的参照图像,因此用户能够准确地发现使用开始后的电子设备的随时间劣化。由此,用户能够在需要校正显示图像的适当的时期使校正数据生成部生成校正数据。此外,由于校正数据生成部生成对电子设备的制造阶段产生的初始显示不均和对电子设备的使用开始后产生的显示不均进行校正的校正数据作为汇总为一个的数据,因此对校正图像数据时的校正数据生成部的负荷变小。因此,能够在使电子设备稳定地动作的同时校正图像数据。
本发明的形态2的校正图像生成***中,优选为在上述形态1中,所述参照图像数据是具有单一的灰度值的图像数据,所述修正参照图像数据是具有多个灰度值的图像数据。
根据本发明的形态2的构成,通过使用单纯的参照图像数据,校正数据生成部能够适当地生成用于消除显示不均的校正数据,因此能够降低对校正图像生成***的负荷。
本发明的形态3的校正图像生成***中,优选为在上述形态1中,所述参照图像数据是具有规则的灰度值变化的图像数据,所述修正参照图像数据是具有不规则的灰度值变化的图像数据。
根据本发明的形态3的构成,通过使用单纯的参照图像数据,校正数据生成部能够适当地生成用于消除显示不均的校正数据,因此能够降低对校正图像生成***的负荷。
本发明的形态4的校正图像生成***中,优选为在上述形态1~3中任一形态中,所述存储部是能够改写的非易失性的存储介质。
根据本发明的形态4的构成,在校正图像生成***的动作后,也能够将适当生成的校正数据等各种数据继续存储于非易失性存储部。由此,在下次转动作时,校正数据生成***也可以使用存储于存储部的数据。
本发明的形态5的校正图像生成***中,优选为在上述形态4中,还具有易失性的临时存储部,其读出所存储的数据的读出速度比所述存储部快。
根据本发明的形态5的构成,通过在临时存储部中存储必要的数据,校正图像生成***的动作速度变快,因此校正图像生成***的动作变得顺畅。
本发明的形态6的校正图像生成***中,优选为在上述形态5中,所述存储部存储所述校正数据生成部生成的所述校正数据,所述临时存储部在所述电子设备的动作中从所述存储部读出所述校正数据,从而临时存储所述校正数据,所述图像数据校正部读出所述临时存储部中存储的所述校正数据来校正所述图像数据。
根据本发明的形态6的构成,由于图像数据校正部从临时存储部而不是存储部读出校正数据,因此,用于使用校正数据校正图像数据的图像处理速度变快。因此,图像数据的校正能够顺畅地进行。
本发明形态7的图像控制方法包括:第一步骤,基于规定的图像数据,显示参照图像;第二步骤,通过摄像所述参照图像来获得摄像图像数据;第三步骤,使用所述摄像图像数据生成校正数据;以及第四步骤,使用所述校正数据校正图像数据,所述规定的图像数据是通过初始校正数据校正参照图像数据得到的修正参照图像数据,所述初始校正数据是在包含显示所述参照图像的显示部的电子设备的制造阶段生成的,根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果,生成所述校正数据。
根据本发明的形态7的构成,由于显示仅反映了在使用开始后产生的显示不均的参照图像,而不显示反映电子设备的制造阶段产生的显示不均的参照图像,因此用户能够准确地发现使用开始后的电子设备的随时间劣化。由此,用户能够在需要校正显示图像的适当的时期使校正数据生成部生成校正数据。此外,由于对电子设备的制造阶段产生的初始显示不均以及电子设备的使用开始后产生的显示不均进行校正的校正数据作为汇总为一个的数据,因此校正图像数据时对电子设备的负荷变小。因此,能够在使电子设备稳定地动作的同时校正图像数据。
在本发明形态8的图像控制方法中,优选在上述形态7中,在所述第三步骤中,生成调整所述摄像图像数据中的显示不均的亮部的灰度值且维持所述显示不均的暗部的灰度值的所述校正数据。
根据本发明的形态8的构成,能够抑制构成预想随时间劣化进展的使用开始后的显示不均的暗部的部分的显示部中的显示特性的随时间劣化。
在本发明形态9的图像控制方法中,优选在上述形态7中,在所述第三步骤中,生成调整所述摄像图像数据中的显示不均的暗部的灰度值且维持所述显示不均的亮部的灰度值的所述校正数据。
根据本发明的形态9的构成,消除了作为显示不均的显著暗的显示不均,因此能够高效地提高显示于显示部的图像的画质。
在本发明形态10的图像控制方法中,优选在上述形态7中,在所述第三步骤中,生成调整所述摄像图像数据中的显示不均的亮部的灰度级值和暗部的灰度级值两者的所述校正数据。
根据本发明的形态10的构成,显示不均等的明暗均被消除,因此能够大幅提高显示于显示部的图像的画质。
本发明的形态11的图像控制程序是用于对校正图像生成***中的所述图像的显示不均进行校正的图像控制程序,所述校正图像生成***包括:电子设备的本体,其包括:显示部,其基于图像数据显示图像;存储部,其存储校正了参照图像数据的规定的图像数据;校正数据生成部,其生成所述图像数据的校正数据;图像数据校正部,其校正所述图像数据;以及摄像部,其摄像被摄体,所述规定的图像数据是通过在所述电子设备的制造阶段生成的初始校正数据对所述参照图像数据进行校正后的校正参照图像数据,所述图像控制程序使所述校正图像生成***执行以下步骤:第一步骤,使所述显示部基于所述修正参照图像数据显示参照图像;第二步骤,通过使所述摄像部摄像所述参照图像来获得摄像图像数据;第三步骤,使所述校正数据生成部根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果来生成所述校正数据;以及第四步骤,使所述图像数据校正部使用所述校正数据来校正所述图像数据。
根据本发明的形态11的构成,由于在显示部上显示仅反映了在使用开始后产生的显示不均的参照图像,而不显示反映电子设备的制造阶段产生的显示不均的参照图像,因此用户能够准确地发现使用开始后的电子设备的随时间劣化。由此,用户能够在需要校正显示图像的适当的时期使校正数据生成部生成校正数据。此外,由于对电子设备的制造阶段产生的初始显示不均以及电子设备的使用开始后产生的显示不均进行校正的校正数据作为汇总为一个的数据,因此校正图像数据时对电子设备的负荷变小。因此,能够在使电子设备稳定地动作的同时校正图像数据。
本发明形态12的记录介质,其是存储有上述形态11所述的图像控制程序的计算机可读取的非暂时性记录介质。
根据本发明的形态12的构成,通过执行存储的图像控制程序,能够在操作本体的用户希望的时刻使校正数据生成部多次生成校正数据。因此,能够通过图像数据校正部使用校正数据校正的图像数据,改善随时间劣化的显示部的画质。
附图标记说明
10 校正图像生成***
11 本体
20 显示部
30 摄像部
40 控制部
41 校正数据生成部
42 图像数据校正部
48 存储部
49 临时存储部
U1、U4 显示不均的暗部
U2、U3 显示不均的亮部

Claims (12)

1.一种校正图像生成***,其特征在于,其具备:
电子设备的本体,其包括:显示部;存储部,其存储校正参照图像数据后的规定的图像数据的存储部;校正数据生成部,其使用所述显示部中显示的参照图像生成校正数据;图像数据校正部,其使用所述校正数据校正图像数据;以及
摄像部,其通过摄像所述参照图像来获得摄像图像数据,
所述规定的图像数据是通过在所述电子设备的制造阶段生成的初始校正数据对所述参照图像数据进行校正后的校正参照图像数据,
所述显示部基于所述修正参照图像数据来显示所述参照图像,
所述校正数据生成部根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果,生成所述校正数据。
2.根据权利要求1所述的校正图像生成***,其特征在于,
所述参照图像数据是具有单一的灰度值的图像数据,所述修正参照图像数据是具有多个灰度值的图像数据。
3.根据权利要求1所述的校正图像生成***,其特征在于,
所述参照图像数据是具有规则的灰度值变化的图像数据,所述修正参照图像数据是具有不规则的灰度值变化的图像数据。
4.根据权利要求1至3中任何一项所述的校正图像生成***,其特征在于,
所述存储部是能够改写的非易失性的存储介质。
5.根据权利要求4所述的校正图像生成***,其特征在于,
还具备易失性的临时存储部,其读出所存储的数据的读出速度比所述存储部快。
6.根据权利要求5所述的校正图像生成***,其特征在于,
所述存储部存储所述校正数据生成部生成的所述校正数据,
所述临时存储部在所述电子设备的动作中从所述存储部读出所述校正数据,从而临时存储所述校正数据,
所述图像数据校正部读出所述临时存储部中存储的所述校正数据来校正所述图像数据。
7.一种图像控制方法,其特征在于,所述图像控制方法包括:
第一步骤,基于规定的图像数据,显示参照图像;
第二步骤,通过摄像所述参照图像来获得摄像图像数据;
第三步骤,使用所述摄像图像数据生成校正数据;以及
第四步骤,使用所述校正数据校正图像数据,
所述规定的图像数据是通过初始校正数据校正参照图像数据得到的修正参照图像数据,所述初始校正数据是在包含显示所述参照图像的显示部的电子设备的制造阶段生成的数据,
根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果,生成所述校正数据。
8.根据权利要求7所述的图像控制方法,其特征在于,
在所述第三步骤中,生成调整所述摄像图像数据中的显示不均的亮部的灰度值且维持所述显示不均的暗部的灰度值的所述校正数据。
9.根据权利要求7所述的图像控制方法,其特征在于,
在所述第三步骤中,生成调整所述摄像图像数据中的显示不均的暗部的灰度值且维持所述显示不均的亮部的灰度值的所述校正数据。
10.根据权利要求9所述的图像控制方法,其特征在于,
在所述第三步骤中,生成调整所述摄像图像数据中的显示不均的亮部的灰度值和暗部的灰度值两者的所述校正数据。
11.一种图像控制程序,其特征在于,其是用于对校正图像生成***中的所述图像的显示不均进行校正的图像控制程序,所述校正图像生成***包括:
电子设备的本体,其包括:显示部,其基于图像数据显示图像;存储部,其存储校正了参照图像数据的规定的图像数据;校正数据生成部,其生成所述图像数据的校正数据;图像数据校正部,其校正所述图像数据;以及
摄像部,其摄像被摄体,
所述规定的图像数据是通过在所述电子设备的制造阶段生成的初始校正数据对所述参照图像数据进行校正后的校正参照图像数据,
所述图像控制程序使所述校正图像生成***执行以下步骤:
第一步骤,使所述显示部基于所述修正参照图像数据显示参照图像;
第二步骤,通过使所述摄像部摄像所述参照图像来获得摄像图像数据;
第三步骤,使所述校正数据生成部根据所述摄像图像数据或基于所述摄像图像数据的数据与所述修正参照图像数据或基于所述修正参照图像数据的数据的比较结果来生成所述校正数据;以及
第四步骤,使所述图像数据校正部使用所述校正数据来校正所述图像数据。
12.一种计算机可读取的非暂时性记录介质,其存储有权利要求11所述的图像控制程序。
CN201880100522.5A 2018-12-25 2018-12-25 校正图像生成***、图像控制方法、图像控制程序以及记录介质 Pending CN113228155A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/047672 WO2020136732A1 (ja) 2018-12-25 2018-12-25 補正画像生成システム、画像制御方法、画像制御プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
CN113228155A true CN113228155A (zh) 2021-08-06

Family

ID=71126998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100522.5A Pending CN113228155A (zh) 2018-12-25 2018-12-25 校正图像生成***、图像控制方法、图像控制程序以及记录介质

Country Status (4)

Country Link
US (1) US11232740B1 (zh)
JP (1) JP6732144B1 (zh)
CN (1) CN113228155A (zh)
WO (1) WO2020136732A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116500A (ja) * 2000-10-05 2002-04-19 Olympus Optical Co Ltd 画像投影表示装置
CN1517781A (zh) * 2003-01-23 2004-08-04 ������������ʽ���� 图像处理***、投影机和图像处理方法
JP2009088933A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
US20090154822A1 (en) * 2007-12-17 2009-06-18 Cabral Brian K Image distortion correction
JP2012141456A (ja) * 2010-12-28 2012-07-26 Casio Comput Co Ltd 発光装置及びその駆動制御方法並びに電子機器
JP2013083872A (ja) * 2011-10-12 2013-05-09 Nippon Telegr & Teleph Corp <Ntt> 投影輝度調整方法、投影輝度調整装置、コンピュータプログラム及び記録媒体
US20130147684A1 (en) * 2011-12-13 2013-06-13 International Business Machines Corporation System and method for automatically adjusting electronic display settings
JP2013122662A (ja) * 2011-12-09 2013-06-20 Sharp Corp 表示システム、較正方法、コンピュータプログラム、及び記録媒体
CN106461990A (zh) * 2014-06-04 2017-02-22 堺显示器制品株式会社 液晶显示装置以及显示方法
WO2018078813A1 (ja) * 2016-10-28 2018-05-03 堺ディスプレイプロダクト株式会社 補正システムおよび補正方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350442A (ja) * 1999-10-04 2001-12-21 Matsushita Electric Ind Co Ltd 表示パネルの駆動方法、表示パネルの輝度補正装置及び駆動装置
CN1377495A (zh) 1999-10-04 2002-10-30 松下电器产业株式会社 显示面板的驱动方法、显示面板的亮度校正装置及其驱动装置
JP2006217208A (ja) * 2005-02-03 2006-08-17 Olympus Corp 画像処理方法および装置、並びに画像表示方法
JP4681033B2 (ja) 2008-07-31 2011-05-11 株式会社イクス 画像補正データ生成システム、画像データ生成方法及び画像補正回路
JP4528858B2 (ja) * 2008-12-25 2010-08-25 株式会社東芝 画像表示装置及び出力画像補正方法
JP2011077825A (ja) * 2009-09-30 2011-04-14 Casio Computer Co Ltd 表示装置、表示システム、表示方法及びプログラム
KR102431430B1 (ko) * 2015-12-29 2022-08-12 삼성디스플레이 주식회사 휘도 왜곡 보상 장치, 이를 이용한 휘도 왜곡 보상 방법, 및 이를 포함하는 표시 패널 검사 시스템

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116500A (ja) * 2000-10-05 2002-04-19 Olympus Optical Co Ltd 画像投影表示装置
CN1517781A (zh) * 2003-01-23 2004-08-04 ������������ʽ���� 图像处理***、投影机和图像处理方法
JP2009088933A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
US20090154822A1 (en) * 2007-12-17 2009-06-18 Cabral Brian K Image distortion correction
JP2012141456A (ja) * 2010-12-28 2012-07-26 Casio Comput Co Ltd 発光装置及びその駆動制御方法並びに電子機器
JP2013083872A (ja) * 2011-10-12 2013-05-09 Nippon Telegr & Teleph Corp <Ntt> 投影輝度調整方法、投影輝度調整装置、コンピュータプログラム及び記録媒体
JP2013122662A (ja) * 2011-12-09 2013-06-20 Sharp Corp 表示システム、較正方法、コンピュータプログラム、及び記録媒体
US20130147684A1 (en) * 2011-12-13 2013-06-13 International Business Machines Corporation System and method for automatically adjusting electronic display settings
CN106461990A (zh) * 2014-06-04 2017-02-22 堺显示器制品株式会社 液晶显示装置以及显示方法
WO2018078813A1 (ja) * 2016-10-28 2018-05-03 堺ディスプレイプロダクト株式会社 補正システムおよび補正方法

Also Published As

Publication number Publication date
WO2020136732A1 (ja) 2020-07-02
US20220013058A1 (en) 2022-01-13
JP6732144B1 (ja) 2020-07-29
JPWO2020136732A1 (ja) 2021-02-15
US11232740B1 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
US10636345B2 (en) Method of compensating in display panel, driving unit and display panel
US11270663B2 (en) Method for detecting compensation parameters of brightness, method for compensating brightness, detection device for detecting compensation parameters of brightness, brightness compensation device, display device, and non-volatile storage medium
US8089524B2 (en) Flicker correction apparatus, flicker correction method, and image sensing apparatus
JP6278706B2 (ja) パターン位置検出方法、パターン位置検出システム及びこれらを用いた画質調整技術
US7990431B2 (en) Calculation method for the correction of white balance
CN109523955A (zh) 像素补偿方法及装置、存储介质、显示屏
KR20170047449A (ko) 표시 장치 및 이의 휘도 보정방법
JP6679811B1 (ja) 補正画像生成システム、画像制御プログラム、および記録媒体
JP5205978B2 (ja) プロジェクタ
JP6722366B1 (ja) 補正画像生成システム、画像制御方法、画像制御プログラム、および記録媒体
JP2015222332A (ja) 表示パネルの製造方法
JP6732144B1 (ja) 補正画像生成システム、画像制御方法、画像制御プログラム、および記録媒体
JP2009065248A (ja) 撮像装置とその制御方法
JP2020112812A (ja) 補正画像生成システム、画像制御プログラム、および記録媒体
WO2013115356A1 (ja) 画像表示装置、電子機器、電子カメラ、及び情報端末
KR102153567B1 (ko) 휘도편차 보상장치 및 보상방법
JP2007049496A (ja) 画像処理方法および装置
JP5211703B2 (ja) プロジェクタ
KR20140077071A (ko) 영상처리장치 및 방법
TWI477881B (zh) 投影儀及其梯形失真校正方法
JPWO2018220757A1 (ja) ムラ補正データ生成装置
JP2014063094A (ja) 画像処理装置、電子機器、及び画像処理方法
JP2020120206A (ja) 色変換方法
KR20070058074A (ko) 휴대용단말기
JP2012231323A (ja) プロジェクタ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination