JP2020112812A - Correction image generation system, image control program, and recording medium - Google Patents
Correction image generation system, image control program, and recording medium Download PDFInfo
- Publication number
- JP2020112812A JP2020112812A JP2020048154A JP2020048154A JP2020112812A JP 2020112812 A JP2020112812 A JP 2020112812A JP 2020048154 A JP2020048154 A JP 2020048154A JP 2020048154 A JP2020048154 A JP 2020048154A JP 2020112812 A JP2020112812 A JP 2020112812A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- unit
- correction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012937 correction Methods 0.000 title claims abstract description 357
- 238000003860 storage Methods 0.000 claims abstract description 79
- 238000003384 imaging method Methods 0.000 abstract description 77
- 230000032683 aging Effects 0.000 abstract 1
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 39
- 238000004519 manufacturing process Methods 0.000 description 37
- 238000001514 detection method Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 24
- 230000006866 deterioration Effects 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000002411 adverse Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、補正画像生成システム、画像制御プログラム、および記録媒体に関する。 The present invention relates to a corrected image generation system, an image control program, and a recording medium.
テレビ受信機器や携帯機器の表示部などの様々な用途に、有機電界発光(以下、「有機EL」という)ディスプレイ装置や液晶ディスプレイ装置などの表示装置が利用されている。これらの表示装置では、入力信号に基づいて表示させるべき所望の色(輝度)と、実際に表示される色(輝度)とが、表示装置が有する入出力特性の影響で異なってしまうことがある。そのため、その表示装置の特性に応じて、いわゆるガンマ補正などの補正が行われている。 2. Description of the Related Art Display devices such as an organic electroluminescence (hereinafter referred to as "organic EL") display device and a liquid crystal display device are used for various applications such as a display unit of a television receiver and a mobile device. In these display devices, a desired color (luminance) to be displayed based on an input signal and an actually displayed color (luminance) may be different due to the input/output characteristics of the display device. .. Therefore, correction such as so-called gamma correction is performed according to the characteristics of the display device.
また、表示装置を含む電子機器は、ユーザが使用を開始する前の段階、つまり、電子機器の出荷前の製造段階における製造ばらつきに起因する表示むら(以下、初期表示むらという)を生じていることがある。初期表示むらは、表示装置に含まれる各画素の特性の不均一により生じる。このような初期表示むらをユーザが視認し難くするために、電子機器を出荷する前に画像データの補正用データを生成することによって、表示装置の画質が改善されている。具体的には、製造工程の最終段階において、外部から入力される所定の画像データに基づいて表示装置に画像を表示させ、表示装置に表示された画像の撮像画像データを外部の撮像装置を用いて取得する。そして、入力された所定の画像データと撮像画像データとを比較することにより、初期表示むらを解消するための補正データを生成する。出荷後は、得られた補正データを用いて補正された画像データに基づく画像が表示装置に表示される(例えば、特許文献1参照)。上述した所定の画像データとしては、階調値が均一な画像データまたは階調値が連続的に変化する画像データなどの一定の規則性がある画像データが用いられる。このような手法によって、製造段階において生じた表示装置の初期表示むらを視認し難くし、ユーザによる使用時の画質を改善している。 Further, the electronic device including the display device has display unevenness (hereinafter referred to as initial display unevenness) due to manufacturing variations at a stage before the user starts using the device, that is, at a manufacturing stage before shipment of the electronic device. Sometimes. The initial display unevenness is caused by non-uniformity of the characteristics of each pixel included in the display device. In order to make it difficult for the user to visually recognize such initial display unevenness, the image quality of the display device is improved by generating the correction data of the image data before shipping the electronic device. Specifically, in the final stage of the manufacturing process, an image is displayed on the display device based on predetermined image data input from the outside, and the captured image data of the image displayed on the display device is used by the external image capturing device. To get. Then, by comparing the input predetermined image data with the captured image data, the correction data for eliminating the initial display unevenness is generated. After shipping, an image based on the image data corrected using the obtained correction data is displayed on the display device (for example, refer to Patent Document 1). As the predetermined image data described above, image data having a certain regularity such as image data having a uniform gradation value or image data having a continuous gradation value change is used. By such a method, it is difficult to visually recognize the initial display unevenness of the display device that occurs at the manufacturing stage, and the image quality when used by the user is improved.
例えば、有機ELディスプレイ装置は、各画素に対応する発光素子である有機EL素子がそれぞれ発光することによって、発光ドットの集合体として画像を表示する。1つの画素は、さらに、赤色、緑色および青色などのサブ画素からなり、サブ画素毎に、赤色、緑色、または青色を発光する有機EL素子が形成されている。しかし、各サブ画素に個々に含まれる有機EL素子の製造ばらつきに加え、個々の有機EL素子を所望の輝度に発光させるための駆動素子である薄膜トランジスタ(以下、「TFT」という)などの製造ばらつきに起因して、各サブ画素の発光特性が異なることがある。例えば、有機ELディスプレイ装置の一領域において各色のサブ画素の明るさが揃って他の領域のサブ画素の明るさと異なっている場合は輝度むらが発生することとなる。また、ある特定の色のサブ画素の明るさが他の色のサブ画素の明るさと異なる場合は色度むらが生じる。また、輝度むらと色度むらが同時に発生する場合もある。このような初期表示むらは、主に、有機EL素子およびTFTなどの製造ばらつきのうち、TFT特性の製造ばらつきに起因して、発生することが多い。 For example, the organic EL display device displays an image as a group of light emitting dots by causing the organic EL element, which is a light emitting element corresponding to each pixel, to emit light. One pixel further includes sub-pixels of red, green, and blue, and an organic EL element that emits red, green, or blue is formed for each sub-pixel. However, in addition to manufacturing variations in the organic EL elements individually included in each sub-pixel, manufacturing variations in thin film transistors (hereinafter, referred to as “TFTs”) that are drive elements for causing the individual organic EL elements to emit light with desired brightness. Due to the above, the emission characteristics of each sub-pixel may be different. For example, when the brightness of the sub-pixels of each color is uniform in one area of the organic EL display device and different from the brightness of the sub-pixels in the other area, uneven brightness occurs. Further, when the brightness of a sub-pixel of a certain color is different from the brightness of a sub-pixel of another color, uneven chromaticity occurs. In addition, uneven brightness and uneven chromaticity may occur at the same time. Such initial display unevenness often occurs mainly due to manufacturing variation of TFT characteristics among manufacturing variations of the organic EL element and the TFT.
一方、電子機器の使用開始後においては、使用による有機EL素子およびTFTなどの経時劣化に起因して、各サブ画素の発光特性が時間の経過とともに変化する。有機EL素子においては、その積層構造に含まれる有機発光層および電子/ホール注入層などを構成する有機材料に駆動電流が流れることに起因する経時劣化により、一般的には駆動電流値に対する輝度が小さくなる。このような経時劣化に伴う特性変化の度合いは、TFTよりも有機EL素子の方が大きく、その経時劣化の度合も各サブ画素によって異なる。そのため、表示装置の使用開始後においても、経時劣化の進行に伴って、部分的な輝度むらや色度むらが、有機ELディスプレイ装置毎に、異なる時期および程度で新たに発生し得る。つまり、電子機器の製造段階において生じる主としてTFT特性の製造ばらつきに起因する初期表示むらとは異なり、電子機器の使用開始後においては、主として有機EL素子の経時劣化に起因する表示むらが生じ得る。したがって、上述の製造工程の最終段階に生成した補正データを用いて補正された画像データに基づいて有機ELディスプレイ装置に画像を表示したとしても、電子機器の使用開始後の時間経過に伴う有機EL素子の発光特性およびTFT特性の劣化によって、再度、表示画像に表示むらが生じ得る。しかしながら、このような経時劣化による表示むらを解消する適切な手法は、未だに提案されていない。 On the other hand, after the use of the electronic device is started, the emission characteristics of each sub-pixel change with time due to the deterioration of the organic EL element, the TFT, and the like due to the use. In an organic EL element, luminance with respect to a drive current value is generally deteriorated due to deterioration over time due to a drive current flowing through an organic material forming an organic light emitting layer and an electron/hole injection layer included in the laminated structure. Get smaller. The degree of characteristic change due to such deterioration with time is larger in the organic EL element than in the TFT, and the degree of deterioration with time also differs depending on each sub-pixel. Therefore, even after the use of the display device is started, partial luminance unevenness and chromaticity unevenness may newly occur at different times and degrees for each organic EL display device as the deterioration with time progresses. That is, unlike the initial display unevenness mainly caused by the manufacturing variation of the TFT characteristics which occurs in the manufacturing stage of the electronic device, the display unevenness mainly caused by the deterioration of the organic EL element with time may occur after the use of the electronic device is started. Therefore, even if an image is displayed on the organic EL display device based on the image data corrected using the correction data generated at the final stage of the manufacturing process described above, the organic EL changes with the passage of time after the start of use of the electronic device. Display unevenness may occur again in the display image due to the deterioration of the light emitting characteristics and the TFT characteristics of the element. However, an appropriate method for eliminating such display unevenness due to deterioration over time has not been proposed yet.
本発明は、このような問題を解決するためになされたもので、その目的は、電子機器の使用開始後に生じた経時劣化による表示むらを適切に解消することができる補正画像生成システム、画像制御プログラム、および記録媒体を提供することにある。 The present invention has been made to solve such a problem, and an object thereof is to provide a corrected image generation system and image control capable of appropriately eliminating display unevenness due to deterioration over time that occurs after the use of an electronic device. It is to provide a program and a recording medium.
本発明の一実施形態である補正画像生成システムは、表示部、参照画像データを格納した記憶部、前記表示部に表示された画像と前記参照画像データとに基づいて補正データを生成する補正データ生成部、および前記補正データを用いて画像データを補正する画像データ補正部を含む電子機器の本体と、前記参照画像データを用いて表示された参照画像を撮像することによって撮像画像データを取得する撮像部とを備え、前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと、前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成する。 A correction image generation system that is an embodiment of the present invention includes a display unit, a storage unit that stores reference image data, and correction data that generates correction data based on the image displayed on the display unit and the reference image data. Captured image data is obtained by capturing an image of a main body of an electronic device including a generation unit and an image data correction unit that corrects image data using the correction data, and a reference image displayed using the reference image data. An image pickup unit, and the correction data generation unit obtains the correction data based on a comparison result between the pickup image data or data based on the pickup image data and the reference image data or data based on the reference image data. To generate.
本発明の一実施形態である画像制御プログラムは、画像データに基づいて画像を表示する表示部、参照画像データを格納した記憶部、前記画像データの補正データを生成する補正データ生成部、および前記画像データを補正する画像データ補正部を備える電子機器の本体と、被写体を撮像する撮像部とを含む補正画像生成システムにおける前記画像の表示むらを補正させるための画像制御プログラムにおいて、前記表示部に、前記参照画像データに基づいて、参照画像を表示させる第1ステップと、前記撮像部に、前記参照画像を撮像させることによって、撮像画像データを取得させる第2ステップと、前記補正データ生成部に、前記撮像画像データまたは前記撮像画像データに基づくデータと前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成させる第3ステップと、前記画像データ補正部に、前記補正データを用いて前記画像データを補正させる第4ステップとを前記補正画像生成システムに実行させる。 An image control program according to an embodiment of the present invention includes a display unit that displays an image based on image data, a storage unit that stores reference image data, a correction data generation unit that generates correction data of the image data, and the An image control program for correcting display unevenness of the image in a corrected image generation system including a main body of an electronic device including an image data correction unit that corrects image data, and an image pickup unit that picks up an image of a subject is displayed on the display unit. A first step of displaying a reference image based on the reference image data; a second step of causing the image capturing unit to capture the captured image data by capturing the reference image; and a correction data generating unit. A third step of generating the correction data based on a comparison result between the captured image data or data based on the captured image data and the reference image data or data based on the reference image data; And a fourth step of correcting the image data using the correction data, and causing the corrected image generation system to execute the fourth step.
本発明の一実施形態である記録媒体は、上記画像制御プログラムを記録した、コンピュータで読み取り可能な非一時的な記録媒体である。 A recording medium according to an embodiment of the present invention is a computer-readable non-transitory recording medium in which the image control program is recorded.
本発明の一実施形態の補正画像生成システム、画像制御プログラム、および記録媒体によれば、電子機器の使用開始後に生じた経時劣化による表示むらを適切に解消することができる。 According to the corrected image generation system, the image control program, and the recording medium of one embodiment of the present invention, it is possible to appropriately eliminate display unevenness due to deterioration over time that has occurred after the use of the electronic device.
(第1実施形態の機器構成)
以下、図面を参照しながら、本発明の第1実施形態の補正画像生成システムが説明される。図1A〜1Cは、本実施形態の補正画像生成システムの機器構成を斜視図で示している。なお、本実施形態を含む以下の実施形態では、一般的に、表示部が表示する表示画像に何らかのむらが生じている状態を「表示むら」とし、「表示むら」は、色度むら、および輝度むらなどの表示画像のむらの状態を含むものとする。また、各図面において、同じ機能を有する部分には、同一の符号が付されている。
(Device configuration of the first embodiment)
Hereinafter, the corrected image generation system according to the first embodiment of the present invention will be described with reference to the drawings. 1A to 1C are perspective views showing a device configuration of a corrected image generation system according to this embodiment. In the following embodiments including the present embodiment, generally, a state in which some unevenness occurs in a display image displayed by the display unit is referred to as “display unevenness”, and “display unevenness” means chromaticity unevenness and The state of unevenness of the display image such as uneven brightness is included. Further, in each of the drawings, parts having the same function are designated by the same reference numerals.
図1Aに示される機器構成は、補正画像生成システムが、タブレットPC(Personal Computer)またはスマートフォンなどの携帯機器10Aとして一体化されている場合を示している。携帯機器10Aは、1個の電子機器としての本体11に携帯機器10Aとしての諸機能を発揮するための様々な装置を内蔵しており、静止画または動画を表示する表示部20と、静止画または動画を撮像する撮像部30などを備えている(図1Aでは、表示部20および撮像部30は、それぞれ、鏡Mに映し出されている。)。つまり、この機器構成では、撮像部30は、表示部20とともに本体11に内蔵されることによって、本体11と一体的に形成されている。
The device configuration shown in FIG. 1A shows a case where the corrected image generation system is integrated as a
携帯機器の本体11は、例えば、略直方体形状に形成されており、略直方体形状を構成する面の1つである第1面11a(図1Aでは、第1面11aは、鏡Mに映し出されている)と、第1面11aの反対面である第2面11bとを有している。そして、表示部20の表示面20aと撮像部30の撮像窓30aが第1面11aの方向に露出するように、表示部20および撮像部30が本体11に取り付けられている。ここで、図1Aに示される機器構成では、撮像部30は、常時、本体11から突出して形成されていてもよく、使用時のみに、本体11から突出するように(つまり、必要な時だけ、本体11から突出するように、モータまたはバネなどの駆動機構を撮像部30または本体11に装備するように)本体11から出入自在に形成されていてもよい。つまり、表示部20の表示面20aと撮像部30の撮像窓30aが、第1面11aの方向に露出するように取り付けられていれば、表示部20および撮像部30が、本体11の第1面11aに取り付けられているか、本体11から突出しているかを問わない。このような携帯機器10Aの構成では、撮像部30の撮像窓30aは、表示部20の表示面20aと同じ方向を向くので、携帯機器10Aの表示部20を鏡Mに映し出すことによって、撮像部30は、表示部20の表示画像を撮像することができる。
The
図1Bに示される機器構成は、補正画像生成システムが、電子機器の本体11から脱着自在な撮像部30を備えた携帯機器10Bである場合を示している。具体的には、例えば、本体11が、雌の電気コネクタ111を備え、撮像部30は、対応する雄の電気コネクタ121を備えることによって、撮像部30は、雌雄の電気コネクタ111、121の機械的結合による有線通信を介して、本体11と通信することができる。撮像部30は、Bluetooth(登録商標)やWi−Fi(登録商標)などの無線通信によっても、本体11と通信可能に接続できてもよい。また、撮像部30は、嵌合などの機械的結合による有線通信、および無線通信の双方で本体11と通信可能に接続できてよい。電気コネクタ111、121の雌雄は、反対であってもよく、撮像部30は、本体11の専用部品であってもよいし、他のシステムとの共用部品であってもよい。つまり、この機器構成では、撮像部30は、本体11への装着と装着の解除を行う脱着機構を備えている。
The device configuration shown in FIG. 1B shows a case where the corrected image generation system is a
図1Cに示される機器構成は、補正画像生成システムが、例えば、表示機器としての電子機器の本体11と、撮像機器としての別機器12である撮像部30を備える2つの機器を有するシステム10Cである場合を示している。図1Cに示される例では、撮像部30は、ケーブル線13などの有線によって、本体11と通信可能に接続されているが、無線によって、本体11と通信可能に接続されてもよい。つまり、この機器構成では、撮像部30は、本体11と別機器12で形成されており、撮像部30は、有線または無線によって、本体11と接続されている。
The device configuration shown in FIG. 1C is a
このような本実施形態において、表示部20に表示される表示画像に含まれる表示むらを解消する概略手順を、図1Aに示される携帯機器10Aの機器構成を例として、図1A、2および3を参照しながら説明する。図2は、電子機器の使用開始後から時間を経過した携帯機器10Aの第1面11aを示しており、参照画像データに基づいて、表示部20に参照画像を表示させた際の様子を示している。ここで、「参照画像」とは、表示画像に含まれる表示むらを視覚的に認識するために用いられる画像を指し、「参照画像データ」とは、参照画像を表示するための基礎となる画像データを指すものとする。また、「初期補正データ」とは、電子機器の製造段階で生じていた初期表示むらを解消するために、画像データを補正するデータを指し、電子機器の使用開始後に補正データが生成されるまでの間、表示部20に表示画像を表示するための任意の画像データを補正するために用いられるデータである。なお、「製造段階」とは、表示部20を備える電子機器が出荷されるまでの製造プロセスにおけるいずれかの段階を指すものとし、本体11の製造プロセスのみならず、表示部20の製造プロセスおよび電子機器を完成させるまでの表示部20などの構成要素の製造プロセスを含むものとする。
In the present embodiment as described above, a schematic procedure for eliminating display unevenness included in the display image displayed on the
例えば、参照画像データが、単一階調値のグレースケールの画像データである場合、参照画像データに基づいて表示部20に参照画像を表示した際には、表示部20には、表示面20a全面に一様なコントラストのグレー画像が表示画像として表示されるべきである。しかしながら、例えば、表示部20の画素を構成する素子毎に、電子機器の製造段階における製造ばらつき、および、電子機器の使用開始後の特性の経時劣化が一様ではないために、明るく表示される部分(以下、「表示むらの明部」という)U2、U3と、暗く表示される部分(以下、「表示むらの暗部」という)U1、U4が表示画像に生じている。これらの表示むらの明部U2、U3と暗部U1、U4は、電子機器の製造段階において既に生じていた初期表示むら、および電子機器の使用開始後に生じた表示むらの両方を含んでいる。ユーザは、表示むらU1〜U4を視認した場合、例えば、表示部20のタッチ操作により、後述する画像制御プログラムの実行を開始させる。そして、図1Aに示されるように、ユーザは、鏡Mに表示画像を映し出した後、図3に示されるように、撮像部30を用いて表示部20の表示画像を撮像することによって、撮像画像データを取得する。この際、鏡Mにおいて映し出される画像は、表示画像の鏡像である。その後、本体11に格納された画像制御プログラムは、後述するように、撮像画像データから表示画像に対応する部分のみをトリミングする画像処理を行い、得られたトリミング後の撮像画像データなどを参照画像データなどと比較することによって、表示むらU1〜U4を解消するための補正データの生成を携帯機器10Aに実行させる。そして、得られた補正データに基づいて、表示部20に表示する任意の画像データを補正することによって、携帯機器10Aの表示部20には、表示むらU1〜U4が解消された表示画像が表示される。このように、鏡Mを用いることによって、撮像部30が電子機器の本体11と一体となった携帯機器10Aである場合でも、本体11と別体である撮像装置を別途準備しなくても、表示画像の鏡像を撮像することで、撮像画像データを取得することができる。
For example, when the reference image data is grayscale image data having a single gradation value, when the reference image is displayed on the
図1Bに示される携帯機器10Bの機器構成、および、図1Cに示されるシステム10Cの機器構成では、撮像部30を表示部20と直接対向させることができるので、必ずしも、図1Aに示される携帯機器10Aのように鏡Mに表示画像を映し出す必要はなく、撮像部30によって、表示画像を直接的に撮像してもよい。
In the device configuration of the
すなわち、本実施形態の各機器構成は、携帯機器10A、10Bまたはシステム10Cの本体11内に、後述するように、電子機器の使用開始後の表示部20の経時劣化の度合いに合わせて任意の画像データを補正するための諸機能が備えられている。そのため、ユーザは、電子機器の使用開始後に経時劣化による表示むらが生じた場合に、表示部20を新品に交換する必要はないので、交換のために、わざわざ、修理店に機器を持ち込んだり、修理オペレータを呼んだりすることなく、簡単な手法で、ユーザ自らによって、意図するタイミングで、表示部20の表示むらを適切に解消することができる。
That is, each device configuration of the present embodiment has an arbitrary configuration in the
(第1実施形態のブロック構成)
次に、上述の機器構成の補正画像生成システムのブロック構成の概要が説明される。図4に、本発明の第1実施形態の補正画像生成システムの構成の概要がブロック図で示されている。なお、図1Aの携帯機器10A、図1Bの携帯機器10B、および図1Cのシステム10Cは、図4中では、補正画像生成システム10として示されている。
(Block configuration of the first embodiment)
Next, an outline of the block configuration of the corrected image generation system having the above-described device configuration will be described. FIG. 4 is a block diagram showing an outline of the configuration of the corrected image generation system according to the first embodiment of the present invention. Note that the
本実施形態の補正画像生成システム10は、図4に示されるように、表示部20と、撮像部30と、制御部40と、検出部50とを備えている。
As shown in FIG. 4, the corrected
表示部20は、画像データに基づいて画像を表示する部分であって、例えば、アクティブマトリクス型の有機EL表示パネルや液晶表示パネルなどによって構成される表示パネル21と、表示パネルを駆動させる表示駆動部22とを備えている。
The
表示パネル21は、図5に示されるように、表示画像を構成する画素を含み、1つの画素は、赤色光、緑色光、および青色光をそれぞれ発光するR(赤)サブ画素、G(緑)サブ画素、およびB(青)サブ画素などによって構成される複数のサブ画素211(図5では、説明の簡略化のために、1つのサブ画素211のみを示している)を備えている。そして、例えば、表示パネル21が有機EL表示パネルである場合、各サブ画素211は、赤色光、緑色光、または青色光の発光強度を調整する有機EL素子によって構成される画素素子211eと、画素素子211eに電力を供給するためのTFTなどによって構成される駆動用スイッチング素子211dと、サブ画素211を選択するためのTFTなどによって構成される選択用スイッチング素子211sと、電荷を蓄えるコンデンサなどによって構成される容量素子211cと、データ信号および走査信号がそれぞれ入力されるデータ線21Dおよび走査線21Sなどを備えている。
As shown in FIG. 5, the
また、表示駆動部22は、データ信号を生成して、これをデータ線21Dに供給するデータ線駆動部22Dと、走査信号を生成して、これを走査線21Sに供給する走査線駆動部22Sとを備えている。
Further, the
具体的には、走査線21Sは、選択用スイッチング素子211sのゲート電極と接続され、走査線21Sにハイレベルの走査信号が入力された場合、選択用スイッチング素子211sがONとなる。他方、データ線21Dは、選択用スイッチング素子211sのソース電極およびドレイン電極の一方と接続され、選択用スイッチング素子211sがONとなった場合に、選択用スイッチング素子211sのソース電極およびドレイン電極の他方と接続されている駆動用スイッチング素子211dのゲート電極にデータ信号に応じたデータ電圧Vを入力する。データ電圧Vは、駆動用スイッチング素子211dのゲート電極とソース電極またはドレイン電極との間に接続された容量素子211cによって、所定期間、保持される。
Specifically, the scanning line 21S is connected to the gate electrode of the
駆動用スイッチング素子211dのドレイン電極およびソース電極の一方は、電源電極Vpと接続されており、他方は、画素素子211eのアノード電極と接続されている。画素素子211eのカソード電極は、共通電極Vcに接続されている。そして、上述した所定期間に、駆動用スイッチング素子211dがONとなった場合に、データ電圧値Vに応じて、画素素子211eに素子電流値Iが流れることで、図6に示されるような特性で赤色光、緑色光、または青色光がデータ電圧値Vに応じて輝度Lで発光される。なお、データ電圧値Vと輝度Lとの関係については、後述される。
One of the drain electrode and the source electrode of the
このように、表示パネル21を構成する多数の画素に含まれる各サブ画素211の画素素子211eがデータ信号および走査信号によって制御されるので、任意の画像データに基づいて、表示部20は、表示面20aに画像を表示することができる。そして、本実施形態の補正画像生成システム10は、主として、画素素子211eの発光特性の経時劣化を補完するために、後述する補正データを生成する。これと同時に、この補正データにより、選択用スイッチング素子211sおよび駆動用スイッチング素子211dのスイッチング素子特性の経時劣化も補完される。
In this way, the
図4に戻り、撮像部30は、被写体を撮像する部分であり、図1Aなどに示される撮像窓30aから入射する被写体からの光を撮像画像データとして取得する撮像素子31と、撮像素子31の撮像面に被写体を結像させるレンズ群32と、撮像素子31およびレンズ群32の少なくとも一方を変位させるアクチュエータ33とを備えている。
Returning to FIG. 4, the
撮像素子31は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどによって構成される。撮像素子31は、後述する照度調整信号に基づいて、撮像感度を調整できてもよい。
The
レンズ群32は、被写体にピントを合わせるフォーカスレンズと、撮像素子31の撮像面に被写体の結像が納まるように光路を補正する補正レンズと、絞りの大きさ、およびシャッター速度を変化させることによって、撮像素子31の露出量を調整する絞り機構およびシャッター機構などを備えている。なお、本明細書において、「被写体にピントを合わせる」、および、これに類する表現は、被写体の結像面と撮像素子の撮像面とのずれが許容範囲(焦点深度)内に収まり、見かけ上、被写体にピントが合う状態を指すものとする。
The
アクチュエータ33は、ボイスコイルモータ、ピエゾ素子、または形状記憶合金などからなり、撮像素子31またはレンズ群32の補正レンズと結合されている。アクチュエータ33が、後述する手振れ補正信号に基づいて、撮像部30の揺れを打ち消す方向に撮像素子31またはレンズ群32の補正レンズを撮像部30に対して相対変位させることによって、いわゆる手振れによる撮像画像データへの悪影響が抑制される。この構成に代えて、撮像素子31およびレンズ群32を一つのユニットとし、このユニットをアクチュエータ33と結合させてもよい。この場合、アクチュエータ33が一体的な撮像素子31およびレンズ群32を撮像部30に対して相対変位させることによって、手振れによる撮像画像データへの悪影響が抑制される。
The
また、アクチュエータ33は、レンズ群32のフォーカスレンズと結合されている。これにより、アクチュエータ33が、後述する焦点調整信号に基づいて、フォーカスレンズを変位させるので、撮像部30は、被写体に自動的に焦点を合わせることができる。さらに、アクチュエータ33はレンズ群32の絞り機構およびシャッター機構と結合されており、後述する照度調整信号が入力されることによって、撮像部30は、絞りの大きさとシャッター速度をそれぞれ調整することができる。また、アクチュエータ33は、被写体に一度ピントが合わせられた場合に、被写体が動いても自動的に追尾してピントを合わせ続けるようにフォーカスレンズを変位させてもよい。
Further, the
制御部40は、補正画像生成システム10を構成する各部分の制御およびデータの演算処理などを行う部分であって、CPU(Central Processing Unit)と、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などのRAM(Random Access Memory)と、フラッシュメモリまたはEEPROM(Electrically Erasable Programmable Read-Only Memory)などのROMと、これらの周辺回路などを備えている。制御部40は、後述する記憶部48として機能するROMに格納されている制御プログラムを実行することができ、その際に、後述する一時記憶部49として機能するRAMを作業領域として用いる。制御部40は、ROMに格納された画像制御プログラムを実行することによって、補正データ生成部41、画像データ補正部42、手振れ補正部43、焦点調整部44、露出調整部45、操作判定部46、操作画像生成部47、記憶部48、および一時記憶部49として機能する。
The
補正データ生成部41は、表示部20に表示される表示画像の表示むらを解消するために、画像データを補正する補正データを生成する部分であり、画像処理部411と、階調差生成部412と、表示むら判定部413と、階調調整部414と、補正値生成部415などを備えている。具体的には、補正データ生成部41は、表示部20に表示された画像の表示画像データまたは表示画像データに基づくデータと参照画像データまたは参照画像データに基づくデータとの比較結果によって、補正データを生成する。ここで、「表示画像データに基づくデータ」は、表示画像データを反転させたデータおよびその画像データの階調値を調整したデータを含み、「参照画像データに基づくデータ」は、参照画像データを反転させたデータを含む。また、「画像データを反転させる」とは、画像データの座標の各行において、中央列を対称軸として対称な2つの座標間でそれぞれの階調値を入れ替える、いわゆる画像データを「左右反転」させることを指す。また、「階調値を調整する」とは、表示画像の明暗のコントラストが変更されるように、対応する画像データの全座標の階調値を一様に変更することを指す。
The correction
ここで、本実施形態では、表示画像データとして、撮像部30が撮像することによって取得した撮像画像データを用いる。つまり、本実施形態では、表示部20に表示された表画像の表示画像データを撮像画像データとして取得する。また、後述するように、補正データ生成部41は、表示部20を含む携帯機器10A、10Bやシステム10Cの表示機器などの電子機器の使用開始後に生じる表示むらを補正する補正データだけでなく、初期補正データを生成する際に用いられてもよい。補正データは、画像データの各座標(表示パネル21の1画素に対応するアドレス)に対応して生成される。ここで、「座標」は、1画素または1サブ画素に対応する画像データ中の1つの座標だけでなく、表示面20aを等しく分割した表示エリアに対応する画像データ中の座標群を含むものとする。つまり、補正データ生成部41は、1画素または1サブ画素に対応する画像データ中の座標毎ではなく、表示エリアに対応する座標群毎に、補正データを算出してもよい。
Here, in the present embodiment, the captured image data acquired by capturing an image by the
画像処理部411は、撮像画像データから表示画像に対応する部分のみをトリミングする画像処理を行うことによって、補正データを生成する際に用いるべき撮像画像データとする。また、画像処理部411は、図1Bに示されるような、撮像部30が本体11と脱着自在な機器構成の場合、後述する脱着検出信号が入力されることによって、撮像部30の本体11への脱着状態を判定することが好ましい。また、携帯機器10Bとしての機器構成において、撮像部30が本体11から取り外されていると判定される場合、または、図1Cに示されるような、システム10Cとしての機器構成の場合に、画像処理部411は、撮像部30によって撮像された参照画像が鏡Mに映し出された鏡像であるか否かを判定することが好ましい。画像処理部411は、後述するように、例えば、撮像画像データまたは撮像画像データに基づくデータに含まれる認識マークRに基づいて、この判定を実行できてもよい。
The
参照画像が鏡像である状態で撮像された場合、取得された撮像画像データを参照画像データと単純に比較できない。そこで、画像処理部411は、参照画像が鏡像であると判定する場合には、撮像画像データと、参照画像データとの比較を容易にするために、撮像画像データおよび参照画像データのいずれか一方を反転させる画像処理を行うことが好ましい。この場合、補正データ生成部41は、反転させた撮像画像データと参照画像データとの比較結果、または、撮像画像データと反転させた参照画像データとの比較結果に基づいて補正データを生成することが好ましい。なお、撮像画像データは、様々な表示むらを含み得るので、例えば、不規則に輝度が変化するような表示むらを含むこともある。その場合、撮像画像データを反転させると、表示むらに対応する座標が微妙にずれるなどの画像処理エラーを生じることがある。他方、参照画像データは、階調値が不規則に変化しないように用意され得るので、参照画像データを反転させても、上述の画像処理エラーが生じにくい。したがって、比較すべき一対のデータのいずれかを反転させる場合は、参照画像データを反転させる方が好ましいことがある。特に、前述した画像処理エラーは、撮像部30の画素数が、表示部20の画素数と比較して少ない場合に顕著になり得る。したがって、撮像部30の画素数が、表示部20の画素数と比較して少ない場合には、参照画像データを反転させることが、特に好ましい。
When the reference image is imaged in a mirror image, the acquired image data cannot be simply compared with the reference image data. Therefore, when the
画像処理部411は、図1Bおよび1Cに示される機器構成の場合に、後述するように、撮像画像の向きを判定し、撮像部30によって撮像された参照画像の向きが表示部20によって表示された参照画像の向きと異なる場合、撮像画像データの向きを参照画像データの向きと一致させる画像処理を行うことが好ましい。
In the case of the device configuration shown in FIGS. 1B and 1C, the
階調差生成部412は、撮像画像データまたは後述する階調調整部414によって生成される修正撮像画像データと、参照画像データとの差分である階調差データを生成する。ここで、参照画像データに基づいて表示部20に表示された参照画像では、電子機器の製造段階に生じた初期表示むら、および、使用開始後の表示むらの双方が反映されているので、初期表示むら、および、使用開始後の表示むらに対応する座標の階調差データが「0」以外の値となる。また、階調差生成部412は、携帯機器10A、10Bや表示機器10Cなどの電子機器の製造段階においても同様に、撮像画像データまたは修正撮像画像データと参照画像データとの差分である初期階調差データを生成してもよい。
The gradation
表示むら判定部413は、階調差生成部412から入力される階調差データに基づいて、初期表示むらおよび使用開始後の表示むらが生じている座標および表示むらの明暗を判定する。具体的には、例えば、表示むら判定部413は、階調差データにおいて、「0」である座標を表示むらがないものとし、正の値の座標を輝度むらの明部であるとし、負の値の座標を輝度むらの暗部である判定する。
The display
階調調整部414は、撮像画像データの階調値(参照画像における全体的な輝度)が、後述する露出調整部45などによる調整によっても、比較すべき参照画像データの階調値と十分に合致しない場合に、撮像画像データの階調値を調整した修正撮像画像データを生成する。具体的には、階調調整部414は、撮像画像データの階調値を各座標において一定の値で乗算することによって、乗算後の撮像画像データの階調値が参照画像データの階調値と最も合致する乗算値を算出し、算出した乗算値を用いて撮像画像データの各座標の階調値を乗算した修正撮像画像データを生成する。なお、露出調整部45の調整により、撮像画像データの階調値が、参照画像データの階調値と最も合致するように生成されている場合には、階調調整部414は、撮像画像データを修正しなくてもよい。
The
補正値生成部415は、撮像画像データまたは修正撮像画像データに基づいて、画像データの階調値とサブ画素211の画素素子211eに入力されるデータ電圧値Vなどとの関係から、座標毎の補正パラメータを補正値テーブルとして生成する。また、補正値生成部415は、表示むら判定部413から入力される階調差データによる表示むらの明暗のいずれかの判定結果に基づいて、特定の組合せに該当する座標の階調値を補正し、特定の組合せに該当しない座標の階調値を維持するように補正データを生成してもよい。また、補正値生成部415は、電子機器の製造段階においても同様に、撮像画像データまたは修正撮像画像データに基づいて、座標毎の初期補正パラメータを初期補正値テーブルとして生成してもよい。この初期補正値テーブルには、初期表示むらのみを解消するための補正パラメータが格納されることになる。なお、上述した階調差データおよび補正値テーブルは、補正データに含まれ、上述した初期階調差データおよび初期補正値テーブルは、初期補正データに含まれる。
The correction
ここで、本実施形態では、電子機器の製造段階に生じた初期表示むら、および、使用開始後の表示むらの両方が反映された撮像画像データ、修正撮像画像データ、または、これらのいずれかの画像データを反転させたデータと、参照画像データまたはこれを反転させたデータとの比較結果に基づいて補正データを生成するので、補正データ生成部41は、初期表示むら、および、使用開始後に生じた表示むらを解消する座標毎の補正パラメータを補正値テーブルとして生成することになる。
Here, in the present embodiment, the captured image data, the corrected captured image data, or both of the initial display unevenness occurring at the manufacturing stage of the electronic device and the display unevenness after the start of use are reflected. Since the correction data is generated based on the result of comparison between the data obtained by inverting the image data and the reference image data or the data obtained by inverting the reference image data, the correction
画像データ補正部42は、補正データ生成部41によって生成された補正データを用いて、任意の画像データを補正する部分であり、座標発生部421と、補正データ出力部422と、乗算器423と、加算器424などを備えている。
The image
図7に示されるように、座標発生部421は、画像データに同期した同期信号に基づいて、画像データ中の座標と対応する座標信号を生成し、補正データ出力部422に入力する。
As shown in FIG. 7, the coordinate
補正データ出力部422は、座標信号に応じた補正パラメータを乗算器423および加算器424に出力する。具体的には、補正データ出力部422は、記憶部48に格納された補正値テーブルから読み出すことで、これらを一時記憶部49に格納し、その後に、座標発生部421から入力された座標信号の座標に対応する座標の補正パラメータを乗算器423および加算器424に出力する。つまり、補正データ出力部422は、電子機器の製造段階で生じた初期表示むら、および、使用開始後に生じた表示むらを補正パラメータによって補正する。なお、補正データ出力部422は、電子機器の使用開始時から補正データが生成される時までの間、初期補正パラメータを読み出し、これを乗算器423および加算器424に出力してもよい。
The correction
図4に戻り、手振れ補正部43は、後述する手振れ検出部51によって生成される手振れ検出信号に基づいて、撮像素子31またはレンズ群32の補正レンズを変位させるための手振れ補正信号を生成する。なお、上述のように、撮像素子31およびレンズ群32が一つのユニットとして、このユニットが一体的に変位する場合、手振れ補正部43は、ユニットを変位させるための手振れ補正信号を生成する。
Returning to FIG. 4, the camera
なお、手振れ補正部43は、撮像部30に通常よりも露光時間を短くして撮像した複数の画像データを取得させ、それらを位置合わせして重ね合わせることによって、撮像部30の揺れを打ち消すように、撮像データの画像処理を行う機能を備えてもよい。この場合には、撮像画像データの手振れを電子的に補正するため、手振れ検出部51は設けられなくてもよく、手振れ補正部43は、手振れ補正信号の生成に代えて、手振れによる悪影響のない撮像画像データを生成する。また、手振れ補正部43は、撮像部30によって取得された撮像画像データからぼけ関数(PSF:Point Spread Function)を推定し、ウィーナフィルタなどで画像を復元することによって、手振れによる悪影響のない撮像画像データを生成してもよい。この場合も、上述した理由と同じ理由から、手振れ検出部51は設けられなくてもよく、手振れ補正部43は、手振れ補正信号の生成に代えて、手振れによる悪影響のない撮像画像データを生成する。
The
焦点調整部44は、焦点センサ52によって生成される焦点ずれ検出信号に基づいて、レンズ群32のフォーカスレンズを変位させることにより、被写体に焦点を合わせるための焦点調整信号を生成する。
The
露出調整部45は、照度センサ53によって生成される照度検出信号に基づいて、撮像素子31の撮像感度、レンズ群32の絞り機構およびシャッター機構の少なくとも一つを調整するための照度調整信号を生成する。また、露出調整部45は、照度検出信号に基づいて、補正画像生成システム10の周囲の照度が所定値以下か否かを示す照度判定信号を生成する。
The
操作判定部46は、ユーザーインターフェース55によって生成される操作信号などに基づいて、補正画像生成システム10の各部にプログラムの次のステップを実行させる制御信号を生成する。
The
操作画像生成部47は、露出調整部45によって生成される照度判定信号などに基づいて、ユーザがタッチパネルを操作する際の操作画像を表示するための特定の操作画像データを記憶部48に格納された複数の操作画像データの中から選択し、選択した操作画像データを画像データに重畳する。
The operation
記憶部48は、各種データを格納する部分であり、書き換え可能な不揮発性の記憶媒体によって構成され、参照画像データ、初期補正データ、補正画像生成システム10の製造段階の諸特性のデータ、操作画像データなどを格納している。また、記憶部48は、補正データ生成部41によって生成される補正データを格納し得る。
The
一時記憶部49は、電子機器の動作中に、記憶部48に格納された補正データなどのデータを読み出すことで、データを一時的に格納する部分であり、格納されたデータが読み出される読み出し速度が記憶部48より速い揮発性の記憶媒体によって構成される。一時記憶部49は、電子機器の動作中に、記憶部48から補正データを読み出すことで、補正データを一時的に格納し得る。
The
検出部50は、補正画像生成システム10の内部または外部の物理量を検出信号として検出する部分であり、手振れ検出部51と、焦点センサ52と、照度センサ53と、脱着検出部54と、ユーザーインターフェース55を備えている。
The
手振れ検出部51は、撮像部30の揺れによって生じる角速度および加速度を角速度検知信号および加速度検知信号としてそれぞれ検出するジャイロセンサ511および加速度センサ512を備えており、撮像部30の揺れを角速度検知信号および加速度検知信号を含む手振れ検出信号として検出する。
The camera
焦点センサ52は、例えば、位相差センサ、コントラストセンサ、またはこれらの両方を備えており、撮像部30の撮像素子31における被写体のピントのずれを焦点ずれ検出信号として検出する。
The
照度センサ53は、例えば、フォトトランジスタまたはフォトダイオードなどによって構成され、補正画像生成システム10の周囲の照度を照度検出信号として検出する。
The
脱着検出部54は、補正画像生成システム10が、図1Bに示されるように、本体11から取外し自在な撮像部30を備えた携帯機器10Bである場合に、撮像部30と本体11との脱着状態を脱着検出信号として検出する。具体的には、脱着検出部54は、例えば、電気コネクタ111、121に設けられる嵌合検知用の一対の端子間の導通状態によって、撮像部30が本体11に装着されているか否かを検出する。
The attachment/
ユーザーインターフェース55は、例えば、タッチパネル、ボタン、または、音声認識ユニットなどによって構成され、ユーザの指示を操作信号として検出する。ユーザーインターフェース55がタッチパネルである場合、タッチパネルは、表示パネル21上に配置され、表示パネル21からの発光光を透過するように、透光性の材料によって構成される。
The
(第2実施形態)
次に、上述の補正画像生成システムを用いた本発明の第2実施形態の画像制御方法が、図8A〜9Bに示されるフローチャートを参照しながら、説明される。ここで、フローチャートに表わされた画像制御方法は、補正画像生成システム内のCPUなどを含むコンピュータが、ROMに記憶される画像制御プログラムを読み出し、RAMを作業領域として、図4等に示される補正画像生成システムの各部分の機能を発揮させることによって実行される。
(Second embodiment)
Next, an image control method of the second embodiment of the present invention using the above-described corrected image generation system will be described with reference to the flowcharts shown in FIGS. Here, in the image control method shown in the flowchart, a computer including a CPU and the like in the corrected image generation system reads an image control program stored in the ROM, and the RAM is used as a work area, as shown in FIG. 4 and the like. It is executed by demonstrating the functions of the respective parts of the corrected image generation system.
まず、例えば、ユーザが表示部20に表示された所定の表示に触れることによって、制御部40のCPUは、画像制御プログラムを開始し、補正画像生成システム10の各部分に以下の各ステップを行わせるように、画像制御プログラムを実行する。つまり、ユーザは、表示部20に表示された表示画像に生じた表示むらU1〜U4を視認し、これを解消したいと感じるようなユーザ自らが意図するタイミングで、画像制御プログラムを実行することができる。具体的には、例えば、ユーザが、予め表示部20に表示された「表示むら補正開始」の表示に触れることによって、ユーザーインターフェース55が、操作信号を生成し、CPUは、生成された操作信号に基づいて、画像制御プログラムを実行する。
First, for example, when the user touches a predetermined display displayed on the
次に、表示部20は、参照画像データに基づいて、参照画像を表示する(図8AのS10)。記憶部48には参照画像データが予め格納されており、表示部20は、格納された参照画像データに基づいて、参照画像を表示する。ここで、この参照画像には、初期表示むら、および、使用開始後の表示むらの両方が反映されるため、ユーザは、使用開始後の表示むらのみを確認したい場合には、この前後のいずれかで、初期補正データを用いて参照画像データを補正したデータに基づいて、画像(以下、「補正参照画像」という)を表示してもよい。この補正参照画像は、電子機器の製造段階に生じていた初期表示むらが解消された状態の参照画像であるため、補正参照画像に生じた表示むらは、電子機器の使用開始後に生じたものということになる。この場合、ユーザは、この使用開始後の表示むらが視認できる程度になった時点で、補正データを生成させることによって、表示むらを解消することができる利点がある。初期補正データを用いて参照画像データを補正したデータには、初期表示むらを解消するための補正がなされているので、上述したように、補正後の参照画像データを反転させると、初期表示むらに対応しない座標に補正がなされることになる。従って、反転させた補正後の参照画像データに基づいて画像を表示すると、補正されるべき画像の表示位置ではない表示位置に補正がなされることになるので、初期表示むらが解消されない画像が表示されることになる。他方、参照画像データが補正データによって補正されていない場合には、このような問題は生じない。
Next, the
ここで、本実施形態で用いる参照画像データについて説明する。参照画像データは、複数の静止画像データからなり、例えば、単一の階調値を有する複数の画像データを含んでいる。具体的には、表示パネル21のサブ画素211が、Rサブ画素、Gサブ画素、およびBサブ画素によって構成される場合、参照画像データは、赤色の単一階調値、緑色の単一階調値、および青色の単一階調値を有する画像データを各色、複数の異なる階調値毎に設けた複数の画像データを有する画像データ群であることが好ましい。例えば、画像データが8ビット(256階調)の場合、参照画像データとして、階調の中央値の近傍の階調値(例えば、階調値が100)、階調の中央値より大きい階調値(例えば、階調値が200)、および階調の中央値より小さい階調値(例えば、階調値が50)の赤色、緑色、および青色でそれぞれ3個(合計9個)の画像データを記憶部48に格納しておく。このように参照画像データを用いれば、特定色のサブ画素211の素子の劣化を視覚的に認識しやすい。また、参照画像データが多数あれば、後述する各座標の補正値パラメータが正確に生成される。しかしながら、あまりに多くの参照画像データがあっても、表示画像の画質の改善に手間が掛かるため、記憶部48は、異なる階調値で各色、2個〜5個の参照画像データを格納していることが好ましい。また、参照画像データは、単一階調値のグレースケールの画像データを複数の異なる階調値毎に設けた複数の画像データを有する画像データ群であってもよい。グレースケールの画像は、複数色のサブ画素211の発光の混合光によって構成されるため、後述するように、一回の参照画像の撮像で複数色のサブ画素211の表示むらを特定することができるので、補正データの生成ステップの時間が削減できる。この場合には、記憶部48は、異なる階調値で、3個〜5個の参照画像データを格納していることが好ましい。また、参照画像データは、複数の単一色の帯状領域を有する、いわゆるカラーバーを表示するための画像データ、または、色または濃淡が連続的または段階的に変化する、いわゆるグラデーション表示を行うための画像データなどの規則的な階調値の変化を有する画像データであってもよく、これらの画像データを複数備えた画像データ群であってもよい。
Here, the reference image data used in this embodiment will be described. The reference image data is composed of a plurality of still image data, and includes, for example, a plurality of image data having a single gradation value. Specifically, when the sub-pixel 211 of the
次に、ユーザは、表示むらを解消するための補正が必要か否かを判断する(S11)。具体的には、例えば、表示部20が参照画像または補正参照画像を表示した後に、時間間隔をおいて、操作画像生成部47は、「補正必要」および「補正不要」のような2つの操作画像データを修正参照画像データに重畳した画像データに基づく操作画像を表示部20に表示させる。そして、ユーザは、表示部20に表示された参照画像の視認の結果、表示むらU1〜U4を確認した場合、「補正必要」の操作画像を触れることによって、S12に進む。この表示むらU1〜U4は、上述したように、主として、各サブ画素を構成する有機EL素子などの画素素子の発光特性の経時劣化のばらつきに起因して生じている。他方、ユーザが表示むらU1〜U4を確認しなかった場合、「補正不要」の操作画像を触れることによって、画像制御プログラムが終了する。
Next, the user determines whether or not the correction for eliminating the display unevenness is necessary (S11). Specifically, for example, after the
ユーザが、表示むらを解消するための補正が必要であると判断した場合、露出調整部45は、照度が規定値以下か否かを判定する(S12)。具体的には、露出調整部45が、補正画像生成システム10の周囲の照度が規定値以下と判定した場合、操作画像生成部47は、露出調整部45が生成する照度判定信号に基づいて、「表示画像を撮って下さい」のような操作画像データを用いた操作画像を表示部20に表示させる。これにより、ユーザは、表示部20に表示された参照画像を撮像するように促される。ユーザが、参照画像の撮像の準備が完了した後、上記操作画像に触れることによって、ユーザーインターフェース55は、操作信号を生成し、撮像部30は、操作信号に基づいて操作判定部46によって生成される制御信号によって、起動する。
When the user determines that the correction for eliminating the display unevenness is necessary, the
他方、露出調整部45が、周囲の照度が所定値を超えると判定した場合、露出調整部45が生成する照度判定信号に基づいて、操作画像生成部47は、例えば、「照明を暗くしましたか?」または「暗い場所に移動しましたか?」などのような操作画像データを用いた操作画像を表示部20に表示させる。ユーザは、操作画像によって、周囲の照明を暗くしたり、暗い場所へ移動したりするように促される。そして、例えば、ユーザが暗い場所に移動した後、上記操作画像に触れることによって、ユーザーインターフェース55は、操作信号を生成し、露出調整部45は、操作信号に基づいて操作判定部46によって生成される制御信号によって、再度照度を判定する。
On the other hand, when the
次に、撮像部30は、参照画像を撮像することによって、撮像画像データを取得する(S20)。撮像画像データの取得は、S12が完了した後、ユーザが、上述した「表示画像を撮って下さい」のような操作画像に触れることによって、撮像部30が起動した後、自動的に開始される。撮像画像データの取得は、参照画像データが画像データ群によって構成される場合、表示部20が画像データ群を構成する複数の画像データに基づく複数の参照画像を連続的に表示し、撮像部30が各参照画像を撮像することによって行われる。補正画像生成システム10が、図1Aに示されるように、撮像部30が本体11と一体的に形成されている携帯機器10Aとしての機器構成である場合、撮像部30は、一般的に、参照画像の鏡像を撮像することよって、撮像画像データを取得する。つまり、ユーザが、携帯機器10Aを携えて鏡Mの前に立ち、携帯機器10Aの第1面11aを鏡Mに映し出した状態で、表示部20に表示された参照画像を撮像部30により撮像する。他方、補正画像生成システム10が、図1Cに示されるように、撮像部30が本体11と別機器12で形成されているシステム10Cとしての機器構成である場合、撮像部30は、一般的に、参照画像を直接撮像することよって、撮像画像データを取得する。つまり、ユーザが、撮像部30を携えて本体11と対向するように立った状態で、表示部20に表示された参照画像を撮像部30により撮像する。なお、補正画像生成システム10が、図1Bに示されるように、撮像部30が本体11から脱着自在である携帯機器10Bである場合、前者、後者のいずれの手法でも、参照画像を撮像し得ることになる。
Next, the
なお、制御信号によって、撮像部30が起動すると、手振れ検出部51は手振れ検出信号を生成して、これを手振れ補正部43に入力し、手振れ補正部43は、入力された手振れ検出信号に基づいて、手振れ補正信号を生成して、この手振れ補正信号を撮像部30のアクチュエータ33に入力することが好ましい。この場合、アクチュエータ33は、入力された手振れ補正信号に基づいて、撮像部30に対して撮像素子31またはレンズ群32を相対的に変位させる。これにより、いわゆる「手振れ」が撮像画像に生じないにくくなる。
When the
また、焦点センサ52は、焦点ずれ検出信号を生成して、これを焦点調整部44に入力し、焦点調整部44は、入力された焦点ずれ検出信号に基づいて、焦点調整信号を生成して、これを撮像部30のアクチュエータ33に入力することが好ましい。この場合、アクチュエータ33は、入力された焦点調整信号に基づいて、撮像素子31に対してレンズ群32のフォーカスレンズを相対的に変位させる。これにより、いわゆる「ピントぼけ」が撮像画像データ中に生じにくくなる。また、アクチュエータ33は、被写体に一度ピントが合わせられると、被写体が動いても自動的に追尾してピントを合わせ続けるようにフォーカスレンズを変位させてもよい。これにより、補正画像生成システム10が、携帯機器10A、10Bである場合にも、参照画像の撮像が容易になる。
Further, the
さらに、照度センサ53は、照度検出信号を生成して、これを露出調整部45に入力し、露出調整部45は、入力された照度検出信号に基づいて、照度調整信号を生成して、これを撮像部30のアクチュエータ33に入力することが好ましい。この場合、アクチュエータ33は、入力された照度調整信号に基づいて、レンズ群32の絞り機構およびシャッター機構の絞りの大きさ、およびシャッター速度をそれぞれ調整する。これにより、撮像画像データの階調値が適切に調整され、撮像画像データまたは撮像画像データに基づくデータと参照画像データまたは参照画像データに基づくデータとの比較が行いやすくなる。
Further, the
S20の後、補正データ生成部41は、撮像画像データまたは撮像画像データに基づくデータと参照画像データまたは参照画像データに基づくデータとの比較結果に基づいて補正データを生成する(S30)。S30は、S20が完了した段階で、自動的に行われてもよいし、S20が完了した後に、「表示むらを補正しますか?」のような操作画像が自動的に表示され、ユーザがこの操作画像に触れることによって、行われてもよい。ここで、図1Bに示されるような、撮像部30が本体11と脱着自在な機器構成である場合、または、図1Cに示されるような、撮像部30が本体11と別機器である機器構成である場合には、本体11に対する撮像部30の相対的な位置が固定されていない。そのため、これらの機器構成においては、参照画像が直接撮像されている場合(撮像される参照画像が鏡像でない場合)も、鏡Mに映った参照画像が撮像されている場合(撮像される参照画像が鏡像である場合)もあり得る。しかしながら、図1Bに示されるような機器構成の場合であっても、撮像部30が本体11に装着されている場合には、図1Aに示されるような携帯機器としての機器構成の場合と同様に、通常、ユーザは、鏡Mに映った参照画像を撮像する。そこで、図1Bに示されるような機器構成において、前述した脱着検出部54から出力された脱着検出信号に基づいて、撮像部30が本体11に装着されていると判定される場合には、補正データ生成部41の画像処理部411は、「鏡の使用あり」と判定してもよい。ここで、「鏡の使用あり」とは、撮像部30によって撮像された参照画像が鏡像であることを意味し、「鏡の使用なし」とは、撮像部30によって撮像された参照画像が鏡像でないことを意味するものとする。また、図1Aに示されるような、撮像部30が本体11と一体的な機器構成である場合にも、通常、ユーザは、鏡Mに映った参照画像を撮像するため、画像処理部411は、「鏡の使用あり」として判定してもよい。
After S20, the correction
他方、図1Bに示される機器構成において、撮像部30が本体11から取り外されていると判定される場合、または、図1Cに示される機器構成の場合に、鏡Mの使用の有無を判定できるようにするため、画像処理部411は、表示部20の表示面20aに表示されるか、または、本体11の第1面11aの表示面20a周辺の部分(本体11の第1面11aの額縁部分)に設けられた認識マークRを検出することによって、鏡Mの使用の有無を判定することが好ましい。なお、「第1面11a」は、本体11において表示部20の表示面20aが露出している表面である。例えば、認識マークを表示面20aに表示する場合(図示せず)、特定の座標エリア(例えば、表示面の四隅のうちの一つにおいて一定の領域を占める座標エリア)のみに他のエリアの階調値と異なる階調値を有する画像データが、参照画像データとして用意されることが好ましい。つまり、表示面20aに表示される参照画像において特定の座標エリアが、鏡Mの使用の有無を検出するための認識マークとなる。そして、画像処理部411は、撮像部30によって取得された撮像画像データから表示面20aの一部に表示される認識マークを検出することにより、鏡Mの使用の有無を判定する。また、図1Bまたは1Cに示される機器構成の場合に、ユーザによる撮像部30の携帯状態によって、撮像部30は、上下が逆さまの状態で参照画像を撮像したり、傾いた状態で参照画像を撮像したりする場合もあり得るため、認識マークは、撮像画像データの向き(撮像部30によって撮像された参照画像の向き)を検出するために用いられてもよい。参照画像データは、認識マークを含んだ状態で記憶部48に格納されていてもよいし、参照画像データとは別に、認識マークに対応する画像データが記憶部48に格納されていて、表示部20に参照画像を表示する際に、認識マークに対応する画像データを参照画像データに重畳することによって、認識マークを含む参照画像を表示してもよい。
On the other hand, in the device configuration shown in FIG. 1B, it is possible to determine whether or not the mirror M is used when it is determined that the
認識マークRが本体11に設けられる場合、画像処理部411は、撮像部30によって取得された撮像画像データから表示面20a周辺の部分に設けられた認識マークRを検出することにより、撮像画像データの向き、および鏡Mの使用の有無を判定する。ここで、鏡Mの使用の有無および撮像画像データの向きを判定するために認識マークRを必ずしも追加的に設けなくてもよい。たとえば、認識マークRとして、特定の形状、模様、色彩などが、本体11の第1面11aの表示面20a周辺の部分に印刷または刻印されていてもよい。たとえば、第1面11aに表示されているロゴマークが認識マークRとして用いられてもよい。なお、図1Cに示されるような機器構成の場合には、ユーザは、参照画像を直接撮像する可能性が高いため、画像処理部411は、鏡Mの使用の有無を考慮することなく、「鏡の使用なし」として判定してもよい。また、撮像部30の撮像窓が略長方形の本体11の第1面11aの縦横の中央線から外れる位置となるように、撮像部30を本体11に設ければ、撮像部30の撮像窓30aが認識マークRとなり得る。
When the recognition mark R is provided on the
そして、画像処理部411は、認識マークRの検出結果に基づいて、「鏡の使用あり」と判定する場合には、撮像画像データおよび参照画像データのいずれか一方を反転させる画像処理を行うことが好ましい。なお、図1Aに示される機器構成の場合、または、図1Bに示される機器構成であって、撮像部30が本体11に装着された状態で撮像画像データが取得された場合には、画像処理部411は、撮像画像データの取得時に、予め「鏡の使用あり」と判定してもよい。また、画像処理部411は、前述したように、撮像画像データの向きが参照画像データの向き(表示部20によって表示される参照画像の向き)と異なる場合には、撮像画像データの向きを参照画像データの向きと一致させる画像処理を行ってもよい。この場合、参照画像が−θ度(θ:0度〜360度の任意の角度)で傾いた状態の撮像部30で撮像されると、画像処理部411は、撮像画像データの座標を+θ度で変換する(撮像された参照画像をθ度だけ回転させる)。
When the
このように、機器構成に応じ、鏡Mの使用の有無や撮像画像データの向きを判定し、撮像画像データの反転や向きの補正をする画像処理を行った後、画像処理部411は、図3に示されるように、撮像画像データから参照画像の部分をトリミングしてもよい。以下では、説明の便宜のため、このような画像処理が行われた撮像画像データを単に撮像画像データという。また、参照画像データを反転させたデータも、単に、参照画像データという。
In this manner, after the mirror M is used and the orientation of the captured image data is determined according to the device configuration, and the image processing for inverting the captured image data and correcting the orientation is performed, the
露出調整部45によって撮像画像データの階調値が調整されても、撮像画像データの階調値が参照画像データの階調値と十分に合致しない(撮像された撮像画像のコントラストが表示された表示画像のコントラストと合わない)場合、階調調整部414は、撮像画像データの各座標の階調値を一定の値で乗算することによって、乗算後の撮像画像データの階調値が参照画像データの階調値と最も合致する乗算値を算出する。この場合、階調調整部414は、算出した乗算値を用いて撮像画像データの各座標の階調値を乗算した修正撮像画像データを生成する。具体的には、撮像画像データの各座標の階調値が参照画像データの各座標の階調値と一番多く合致する乗算値で、撮像画像データの各座標の階調値を乗算することによって、修正撮像画像データを生成する。なお、上述したように、撮像画像データは、ガンマ補正などの所定の補正がなされた後の参照画像データに基づいて表示された参照画像であるため、合致させるべき参照画像データにも、ガンマ補正などの所定の補正がなされている。一方、上述したように、撮像画像データの階調値が、予め、参照画像データの階調値と最も合致するように生成されている場合には、階調調整部414は、修正撮像画像データを生成しなくてもよい。この場合、以下で説明される各座標の補正パラメータの生成において、修正撮像画像データではなく、撮像画像データが用いられる。
Even if the gradation value of the captured image data is adjusted by the
次に、階調差生成部412は、修正撮像画像データと参照画像データとの座標毎の差分である階調差データを生成する。ここで、階調差生成部412は、ユーザが視認できない表示むらに過敏にならないように、差分値が許容値を超える座標を抽出することによって、階調差データを生成してもよい。この場合、差分値が許容値を超える座標については、実際の差分値が階調差テーブルに格納され、差分値が許容値以内の階調値の座標については、差分値が「0」として階調差テーブルに格納される。階調差テーブルの値が「0」の座標は、初期表示むら、および、使用開始後の表示むらが生じていない座標とされ、この座標について、後述するように、補正値生成部415は、補正パラメータを生成しない。階調差生成部412は、許容値として、例えば、全座標の階調値の標準偏差σとしたとき、0.5σ〜1.0σの間の値とすることが好ましい。
Next, the tone
その後、補正値生成部415は、階調調整部414から入力された修正撮像画像データに基づいて、画像データの階調値とサブ画素211の画素素子211eに供給する電力との関係から、座標毎の補正パラメータを格納した補正値テーブルを生成する。具体的には、サブ画素211に入力されるデータ電圧値Vと画素素子211eから発光される光の輝度Lとの関係(以下、「V−L特性」という)は、図6のグラフに示される。表示むらが生じていないサブ画素211のV−L特性およびこれに対応するガンマ補正後の画像データの階調値Gと画素素子211eの輝度Lとの特性(G−L特性)は、表示部20または補正画像生成システム10の製造段階の諸特性の測定結果によって取得されており、記憶部48に格納されている。例えば、表示むらが生じていないサブ画素211のV−L特性C0は、[数式1]で表される。
After that, the correction
L=α×(V−V0) [数式1]
(V0:オフセット電圧、α:V−L曲線のゲイン)
L=α×(V−V 0 ) [Formula 1]
(V 0 : offset voltage, α: gain of VL curve)
数式1に対応する、ガンマ補正後の画像データの階調値Gと輝度Lとの特性(G−L特性)は、[数式2]で表される。 The characteristic (GL characteristic) between the gradation value G and the luminance L of the image data after gamma correction, which corresponds to Equation 1, is expressed by [Equation 2].
L=β×G [数式2]
(β:G−L曲線のゲイン)
L=β×G [Formula 2]
(Β: gain of G-L curve)
表示むらの明部または暗部となって、表示むらが生じているサブ画素211のそれぞれのV−L特性C1、C2は、[数式3]で表される。 The respective V-L characteristics C1 and C2 of the sub-pixel 211, which is the bright part or the dark part of the display unevenness and has the display unevenness, are represented by [Equation 3].
L=(α+Δα)×(V−(V0+ΔV0)) [数式3]
(ΔV0:オフセット電圧のずれ量、Δα:V−L曲線のゲインのずれ量)
L=(α+Δα)×(V−(V 0 +ΔV 0 )) [Equation 3]
(ΔV 0 : offset voltage shift amount, Δα: VL curve gain shift amount)
数式3に対応する、G−L特性は、[数式4]で表される。 The G-L characteristic corresponding to Expression 3 is represented by [Expression 4].
L=(β+Δβ)×(G−ΔG0) [数式4]
(ΔG0:階調値のずれ量、Δβ:G−L曲線のゲインのずれ量)
L=(β+Δβ)×(G−ΔG 0 ) [Formula 4]
(ΔG 0 : shift amount of gradation value, Δβ: shift amount of gain of G-L curve)
したがって、表示むらが生じているサブ画素211では、画像データの階調値Gを[数式5]に示される階調値G’に変換すれば表示むらを生じない。 Therefore, in the sub-pixel 211 having display unevenness, display unevenness does not occur if the gradation value G of the image data is converted into the gradation value G′ shown in [Equation 5].
G’=ΔG0+(Δβ/(β+Δβ))×G [数式5] G′=ΔG 0 +(Δβ/(β+Δβ))×G [Equation 5]
このように、G−L曲線のゲインのずれ量を考慮した乗算値A([数式5]では、(Δβ/(β+Δβ)))、および、G−L特性における階調値Gのずれ量を考慮した加算値B([数式5]では、ΔG0)を算出する。補正値生成部415は、[数式4]を用いて、画像データにおける表示むらが生じている座標の2種類のずれ量(ΔG0、Δβ)を算出することによって、表示むらを解消するための乗算値Aおよび加算値Bによって構成される補正パラメータを生成する。
Thus, the multiplication value A (([Delta][beta]/([beta]+[Delta][beta]) in [Equation 5]) in consideration of the deviation amount of the gain of the GL curve and the deviation amount of the gradation value G in the GL characteristic are calculated as follows. The added value B (ΔG 0 in [Equation 5]) in consideration is calculated. The correction
補正値生成部415は、補正パラメータの生成を、例えば、以下のように行う。
例えば、まず、補正値生成部415は、階調差データにおいて差分値が「0」でない、表示むらが生じているとされる座標を特定する。次に、補正値生成部415は、修正撮像画像データおよび参照画像データにおいて、特定した座標の階調値GU1およびGR1をそれぞれ照合する(階調値GR1は、意図していたサブ画素211の輝度に対応する階調値を示し、階調値GU1は、初期表示むら、および、使用開始後の表示むらにより意図していない輝度となった実際のサブ画素211の輝度に対応する階調値を示す)。また、補正値生成部415は、[数式2]を用いて、階調値GR1での意図していたサブ画素211の輝度LR1(図6中のV−L特性C0において、データ電圧値VがV1である場合の輝度LRに対応)を算出する。これに対して、階調値GU1での実際のサブ画素211の輝度LU1(図6中のV−L特性C1またはC2において、データ電圧値VがV1である場合の輝度LUに対応)は、画像データの階調値がサブ画素211の輝度Lに比例することから、[数式6]で表される。
The correction
For example, first, the correction
LU1=GU1/GR1×LR1 [数式6] L U1 =G U1 /G R1 ×L R1 [Formula 6]
このようにして、表示むらが生じているサブ画素211における階調値GR1の際の輝度LU1と算出することができる。さらに、上述した手法と同じ手法で、別の階調値GR2における表示むらが生じているサブ画素211の輝度LU2を算出する。つまり、[数式4]では、求めるべき補正パラメータが2つ(AおよびB)あるため、上述した手法を用いることにより、補正値生成部415は、2つの異なる階調値の参照画像データに基づく2つの異なる参照画像から2組の階調値および電流値を取得し、[数式4]からずれ量(ΔG0、Δβ)を表示むらが生じているサブ画素211毎に算出する。そして、補正値生成部415は、算出されたずれ量(ΔG0、Δβ)および[数式5]から乗算値Aおよび加算値Bをさらに算出することにより、1つのサブ画素211の補正パラメータを生成し、これを表示むらが生じているサブ画素211毎に行うことにより、各サブ画素211に対応する画像データの座標の補正パラメータを格納した補正値テーブルを生成する。表示パネル21のサブ画素211が、Rサブ画素、Gサブ画素、およびBサブ画素によって構成される場合、補正値生成部415は、上述した赤色の参照画像データ、緑色の参照画像データ、および青色の参照画像データに基づく赤色の参照画像、緑色の参照画像、および青色の参照画像をそれぞれ2つ撮像することによって、各色について、2つの修正撮像画像データを取得し、これにより得られる2組の階調値および電流値と[数式4]〜[数式6]から各色の補正パラメータを生成する。生成された補正パラメータを格納した補正値テーブルは、上述した階調差データと共に補正データに含まれる。これにより、電子機器の製造段階で生じた初期表示むらのみならず、使用開始後に生じた表示むらを解消するための補正データが得られる。生成された補正データは、例えば、一時記憶部49に格納される。上述した初期補正データは、これと同じ手法により、電子機器の製造段階で生じていた表示むらを補正するために電子機器の製造段階で生成された補正データであり、予め、記憶部48に格納されている。
In this way, it is possible to calculate the luminance L U1 at the gradation value G R1 in the
ここでは、ずれ量(ΔG0、Δβ)が2つあるとして、2つの補正パラメータを生成したが、ずれ量が1つのみ(ΔG0、または、Δβ)として、補正パラメータ(AまたはB)を生成してもよい。乗算値Aおよび加算値Bは、それぞれ、ずれ量ΔβおよびΔG0の一方のみに依存するため、ずれ量が1つのみとする場合、補正パラメータも1つとなる。この場合、算出すべき補正パラメータが1つであるため、1組の電圧値と電流値(つまり、1個の撮像画像データ)と数式2から補正パラメータの値を生成することができる。さらに、撮像部30が、3つ以上(n個)の異なる階調値の参照画像データを撮像することによって3つ以上(n個)の異なる撮像画像データを取得し、階調値が近接する2組の階調値および電流値と[数式4]〜[数式6]から、複数(n−1個)のずれ量(ΔG0、Δβ)を算出することによって、補正パラメータを生成してもよい。この場合、ある近接する2つの階調値の間の階調値には、これら2組の階調値および電流値を用いて生成された補正パラメータが適用され、別の近接する2つの階調値の間の階調値には、これら2組の階調値および電流値を用いて算出された別の補正パラメータが適用される。これにより、より正確な補正パラメータが得られる。
Here, two correction parameters are generated assuming that there are two shift amounts (ΔG 0 , Δβ), but the correction parameter (A or B) is set as only one shift amount (ΔG 0 or Δβ). It may be generated. Since the multiplication value A and the addition value B depend on only one of the deviation amounts Δβ and ΔG 0 , respectively, when there is only one deviation amount, there is also one correction parameter. In this case, since there is one correction parameter to be calculated, the correction parameter value can be generated from one set of voltage value and current value (that is, one piece of captured image data) and Expression 2. Further, the
補正値生成部415は、表示むらが生じている座標と表示むらが生じていない座標とのガンマ補正前の参照画像データの階調値が一致するとして、G−L特性を補正する補正パラメータを生成してもよい。この場合、補正値生成部415は、ガンマ補正されていないG−L特性から補正パラメータを生成するため、ガンマ補正を包含した補正パラメータを格納した補正値テーブルを生成することになる。また、補正パラメータの生成は、上述の方法に限定されず、参照画像データの階調値G(ガンマ補正の前後を問わない)、データ電圧値V、および、サブ画素211の輝度Lのいずれか2つの相関を示す任意の関数を用い、用いた関数のずれ量を算出し、算出したずれ量から補正パラメータを生成してもよい。補正パラメータを用いた乗算や加算などにより、CPUが何らかの形で、表示むらを解消するための画像データの補正を行なえればよい。
The correction
S30の後、画像データ補正部42は、補正データを用いて参照画像データが補正された2次参照画像データを生成する(S31)。図7に示されるように、まず、画像データ補正部42は、ガンマ補正用LUTに基づいて、参照画像データの階調値を変換することによって、各座標で一様に、ガンマ補正する。この際、ガンマ補正用LUTは、画像処理速度を早めるために、記憶部48から読み出されることで、一時記憶部49に予め格納されていることが好ましい。これと並行して、画像データ補正部42は、画像データと同期した同期信号を座標発生部421に入力し、座標発生部421は、入力された同期信号に基づいて、画像信号に含まれる各座標の階調信号と対応する座標信号を生成し、補正データ出力部422に入力する。補正データ出力部422は、入力された座標信号に対応する表示むらが生じている座標の補正パラメータを一時記憶部49に格納された補正値テーブルから読み出して、乗算値Aを乗算器423に、加算値Bを加算器424にそれぞれ出力する(S31では、図7の構成とは異なり、生成された補正データは未だ記憶部48に格納されていない)。これにより、補正データを用いて参照画像データが補正された2次参照画像データが得られる。
After S30, the image
S31の後、表示部20は、2次参照画像データに基づく2次参照画像を表示する(S32)。図4に示されるように、S31において生成された2次参照画像データは、2次参照画像データの同期信号とともに、表示駆動部22に入力される。その後、図5に示されるように、表示駆動部22のデータ線駆動部22Dおよび走査線駆動部22Sは、所定のデータ処理を行うことによって、それぞれデータ信号および操作信号が生成する。そして、表示パネル21は、データ信号および操作信号に基づいて、補正された画像を表示することとなる。
After S31, the
S32の後、ユーザは、2次参照画像に表示むらが生じているか否かを判定する(S33)。例えば、S32が終了した後に、操作画像生成部47は、「表示むらアリ」、「表示むらナシ」のような2つの操作画像データを用いた操作画像を表示部20に表示させる。そして、ユーザが、操作画像の「表示むらアリ」または「表示むらナシ」のいずれかの操作画像に触れることにより、ユーザーインターフェース55は、操作信号を生成し、操作判定部46は、操作信号に応じた制御信号を生成する。また、S32において、2次参照画像を撮像することにより、自動的に表示むらの有無を判定してもよい。具体的には、まず、撮像部30が、2次参照画像を撮像することで、撮像画像データを取得する。次に、上述した手法と同様に、修正撮像画像データを生成し、階調差生成部412が、修正撮像画像データと参照画像データとの間の階調差データを生成する。そして、表示むら判定部413が、例えば、±1階調値〜±2階調値を許容値として、生成された階調差データに許容値を超える座標がない場合に、表示むらが生じていないと判定し、そうでない場合に、表示むらが生じていないと判定してもよい。
After S32, the user determines whether or not there is display unevenness in the secondary reference image (S33). For example, after S32 ends, the operation
2次参照画像に表示むらが生じている場合には、表示部20は、操作判定部46が生成した操作信号に応じて、再度、S11〜S33を繰り返すために、参照画像データに基づいて、参照画像を表示する(S10)。なお、2度目以降の繰返しの際には、S11およびS12の少なくとも一方が省略されてもよい。2次参照画像に表示むらが生じていない場合には、補正値生成部415は、操作判定部46が生成した操作信号に応じて、参照画像データの補正に用いた補正データを記憶部48に格納する(S34)。これにより、補正データの生成プロセスが完了する。
When display unevenness occurs in the secondary reference image, the
S34の後、画像データ補正部42は、S30と同じ手法で、記憶部48に格納された最新の補正データを用いて任意の画像データを補正する(図8BのS40)。ここで、任意の画像データは、S34の後に、表示部20が表示する表示画像に対応する全ての画像データであり、静止画の画像データと動画の画像データの両方を含む。この際、本実施形態により得られる補正データは、電子機器の製造段階に生じた表示むらのみならず、使用開始後に生じた表示むらを解消する。そして、上述した手法と同じステップによって、新たな補正データが記憶部48に格納されるまでの間、画像データ補正部42は、この補正データを用いて画像データを補正する。
After S34, the image
一時記憶部49は、上述したように、揮発性の記憶媒体によって構成されるので、電子機器の電源がオフされた際に、格納されていた補正値テーブルは消去される。しかしながら、電子機器の電源がオンされた際に、画像データ補正部42が、補正値テーブルを記憶部48から読み出すことで、これらを一時記憶部49に格納させる。これにより、画像データ補正部42は、電子機器の動作中に、より読み出し速度の速い記憶媒体から補正データを読み出すことができるので、表示むらを補正するための画像データの画像処理速度が速くなる。一方、電子機器の電源がオフされる際には、最新の補正データが不揮発性の記憶媒体によって構成される記憶部48に格納され続けることで、電子機器の電源がオンされる毎に、補正データを生成する必要がなくなる。しかしながら、画像データ補正部42は、記憶部48から直接、最新の補正値テーブルを読み出し、これらを乗算器423および加算器424に出力することで、画像データを補正してもよい。この場合、一時記憶部49を設ける必要がなくなる。なお、一時記憶部49が補正データを格納する場合、格納されるデータは、上述したように、補正値テーブルだけでなく、補正データを構成する全てのデータであってもよい。
Since the
S40の後、表示部20は、補正された画像データに基づいて画像を表示する(S50)。これにより、製造段階において生じた初期表示むらだけでなく、使用開始後の経時劣化による表示むらを解消した表示画像が表示部20に表示される。
After S40, the
このように構成された補正画像生成システム、画像制御方法、および画像制御プログラムによれば、補正データを生成する補正データ生成部41と、補正データを用いて画像データを補正する画像データ補正部42が、表示部20と一体的に本体11に備えられているため、補正画像生成システム10が本体11と一体的に撮像部30を備える機器構成か否かを問わず、本体11を操作するユーザが意図するタイミングで、画像制御プログラムの実行によって、何度でも、経時劣化した表示部20の画質を改善することができる。つまり、本体11がユーザに届けられた段階において、製造段階で表示部20に発生した初期表示むらを解消するために生成された初期補正データが本体11の記憶部48に格納されている。したがって、初期補正データを用いることによって、初期表示むらが解消された画像が表示部20に表示される。しかしながら、表示パネル21の画素素子211eの経時劣化の違いに伴い、再び表示部20に表示むらが生じてしまう。このような場合に、ユーザが表示部20の表示むらを把握した際に、画像制御プログラムの実行によって、補正データ生成部41が、撮像画像データまたは修正撮像画像データと参照画像データとの比較結果に基づいて、補正データを生成し、画像データ補正部42が、補正データによって、その後の全ての画像データを補正することができる。これにより、ユーザは、電子機器の製造段階に生じた初期表示むらに加え、使用開始後に生じた表示むらを何度でも解消することができる。
According to the correction image generation system, the image control method, and the image control program configured as described above, the correction
使用開始後の表示むらを解消するために、複数回、補正データを生成した場合、それより前に生成された補正データは削除されてもよい。または、新たに生成された補正データを前回の補正データと置き換えてもよい。しかしながら、初期表示むらを解消するため、および、電子機器の出荷時の状態に何時でも戻すことができるようにするために、初期補正データは削除されないことが好ましい。 When the correction data is generated a plurality of times in order to eliminate the display unevenness after the start of use, the correction data generated before that may be deleted. Alternatively, the newly generated correction data may be replaced with the previous correction data. However, it is preferable that the initial correction data is not deleted in order to eliminate the unevenness of the initial display and to be able to return the electronic device to the shipping state at any time.
さらに、補正データ生成部41は、電子機器の製造段階で生じた初期表示むら、および、電子機器の使用開始後に生じた表示むらを補正する補正データをそれぞれ別々のデータとして生成するのではなく、これらの表示むらを補正する補正データを1つに纏められたデータとして生成する。そのため、画像データ補正部42は、複数のデータではなく、単一のデータを用いて画像データを補正することができるので、画像データを補正する際の補正データ生成部41への負荷が小さくなる。そのため、電子機器を安定に動作させながら画像データを補正することができる。
Further, the correction
また、本体11の記憶部48に格納された同じ画像制御プログラムに基づいて、製造段階では、初期補正データが生成され、使用段階では、その後の補正データが生成されるので、初期補正データとその後の補正データとの互換性を考慮する必要がなくなる。
Further, based on the same image control program stored in the
一時記憶部49から補正データが読み出される場合には、画像データ補正部42が、より読み出し速度が速い記憶媒体から補正データを読み出すことで、表示むらを補正するための画像処理速度が速くなるので、動画のようなデータサイズが大きい画像データの場合であっても、画像データの補正がスムーズに行われるようになる。一方、記憶部48から補正データが読み出される場合には、一時記憶部49を設ける必要がなくなるため、補正画像生成システム10の構成が簡素化される。
When the correction data is read from the
(第3実施形態)
本発明の第3実施形態の画像制御方法では、第2実施形態のS30において、補正値生成部415は、撮像画像データにおける、表示むらの明部の階調値を調整し、表示むらの暗部の階調値を維持することによって、補正データを生成する。これについて、図9に示されるフローチャートに基づいて、本実施形態が説明される。なお、本実施形態は、補正データを生成するステップ(S30)が、第2実施形態と異なるため、異なる点についてのみ、以下で説明される。
(Third Embodiment)
In the image control method of the third embodiment of the present invention, in S30 of the second embodiment, the correction
まず、S20の後、表示むら判定部413は、階調差生成部412から入力される階調差データに基づいて、初期表示むら、および、使用開始後の表示むらが生じている座標について、表示むらが、明部であるか暗部であるかを判定する(S301)。
具体的には、表示むら判定部413は、階調差データの値が0である座標を表示むらがないとし、階調差データの値が正の値の座標を明るい表示むらがあり、階調差データの値が負の値の座標を暗い表示むらがあるとする。
First, after S20, the display
Specifically, the display
S301において、表示むら判定部413が、その座標の表示むらが暗部であると判定する場合、補正値生成部415は、その座標において、表示むらが生じていない座標と同様に、補正パラメータを生成しない(S304)。他方、そうでない場合(つまり、S301において、表示むら判定部413が、表示むらの明部であると判定する場合)、補正値生成部415は、上述した通り、補正パラメータを生成する(S305)。
In step S301, when the display
S304およびS305の後、補正値生成部415は、表示むらが生じている全ての座標について、補正パラメータの生成が終了しているかどうかを判定する(S306)。終了している場合には、図8Aに示されるS31を実行し、終了していない場合には、補正値生成部415は、補正パラメータの生成が終了してない座標について、S301を行う。
After S304 and S305, the correction
このような構成である本実施形態では、第2実施形態では、表示むらの明部および暗部となっている座標の両方について、補正パラメータを生成するのに対し、表示むらの暗部となっている座標については、補正パラメータを生成しない。つまり、表示むらの暗部である座標に対応するサブ画素211では、今後、画素素子211eの発光特性の経時劣化が進んでいくことが予想される。このような画素素子211eを他素子と同様に発光させるためには、他素子より大きい電力を供給するように、画像データの階調値を補正する必要がある。この画像データの補正によって、画素素子211eの劣化を促進させてしまう。本実施形態では、そのようなサブ画素211に対応する画像データの階調値については、補正を行わないため、経時劣化の促進が抑制される。
In the present embodiment having such a configuration, in the second embodiment, correction parameters are generated for both the coordinates of the bright portion and the dark portion of the display unevenness, whereas the correction parameter is generated for the dark portion of the display unevenness. No correction parameter is generated for the coordinates. That is, in the sub-pixel 211 corresponding to the coordinates that are the dark part of the display unevenness, it is expected that the light emission characteristics of the
なお、本実施形態以外の画像制御を行なってもよく、例えば、S30において、補正値生成部415は、撮像画像データにおける、表示むらの暗部の階調値を調整し、表示むらの明部の階調値を維持することによって、補正データを生成してもよい。この場合、表示むらとして目立つ暗い表示むらが解消されるので、表示部20に表示される画像の画質を効率的に向上させることができる。
Note that image control other than the present embodiment may be performed. For example, in S30, the correction
(その他の実施形態)
第2および第3実施形態の画像制御方法は、補正画像生成システム10に含まれるコンピュータが、事前に用意された画像制御プログラムを用いることによって、実現される。画像制御プログラムは、上述されたような、補正画像生成システム10に含まれる記憶部48のROMだけでなく、CD−ROM、DVD−ROM、半導体メモリ、磁気ディスク、光磁気ディスク、磁気テープなどのコンピュータで読み取り可能な非一時的(non-transitory)な記録媒体に記録されてもよい。画像制御プログラムは、コンピュータによって記録媒体から読み出されることによって実行される。また、画像制御プログラムは、インターネット等のネットワークを介して配布可能な伝送媒体であってもよい。
(Other embodiments)
The image control methods of the second and third embodiments are realized by the computer included in the corrected
(まとめ)
本発明の態様1に係る補正画像生成システムは、表示部、参照画像データを格納した記憶部、前記表示部に表示された画像と前記参照画像データとに基づいて補正データを生成する補正データ生成部、および前記補正データを用いて画像データを補正する画像データ補正部を含む電子機器の本体と、前記参照画像データを用いて表示された参照画像を撮像することによって撮像画像データを取得する撮像部と、を備え、前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと、前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成する。
(Summary)
A correction image generation system according to aspect 1 of the present invention is a display unit, a storage unit that stores reference image data, and correction data generation that generates correction data based on an image displayed on the display unit and the reference image data. Section, and a main body of an electronic device including an image data correction unit that corrects image data using the correction data, and imaging for acquiring captured image data by capturing the reference image displayed using the reference image data And a correction data generation unit that outputs the correction data based on a comparison result between the captured image data or data based on the captured image data and the reference image data or data based on the reference image data. To generate.
本発明の態様1の構成によると、補正データ生成部および画像データ補正部が表示部と一体的に本体に備えられているため、撮像部が本体と一体的に撮像部を備える機器構成か否かを問わず、本体を操作するユーザが意図するタイミングで、何度でも、補正データ生成部は、補正データを生成することができる。これにより、画像データ補正部が補正データを用いて補正した画像データによって、経時劣化した表示部の画質を改善することができる。 According to the configuration of the first aspect of the present invention, since the correction data generation unit and the image data correction unit are provided in the main body integrally with the display unit, it is a device configuration in which the image pickup unit integrally includes the image pickup unit. Regardless of this, the correction data generation unit can generate correction data as many times as desired by the user operating the main body. Accordingly, the image data corrected by the image data correction unit using the correction data can improve the image quality of the display unit deteriorated with time.
本発明の態様2に係る補正画像生成システムでは、上記態様1において、前記撮像部が、前記本体に内蔵されることによって、前記本体と一体的に形成されていることが好ましい。 In the corrected image generation system according to the second aspect of the present invention, in the first aspect, it is preferable that the imaging unit is incorporated in the main body so as to be integrally formed with the main body.
本発明の態様2の構成によると、撮像部と表示部が本体に一体的に形成された携帯機器のような機器構成からなるシステムにおいても、撮像部が表示部に表示された参照画像を撮像することによって、画像データを補正する補正データを得ることができる。 According to the configuration of the second aspect of the present invention, even in a system having a device configuration such as a portable device in which the image pickup unit and the display unit are integrally formed in the main body, the image pickup unit picks up the reference image displayed on the display unit. By doing so, correction data for correcting the image data can be obtained.
本発明の態様3に係る補正画像生成システムでは、上記態様2において、前記補正データ生成部は、反転させた前記撮像画像データと前記参照画像データとの比較結果、または、前記撮像画像データと反転させた前記参照画像データとの比較結果に基づいて前記補正データを生成することが好ましい。 In the corrected image generation system according to the third aspect of the present invention, in the above second aspect, the correction data generation unit is a result of comparison between the inverted captured image data and the reference image data, or the captured image data and the inverted result. It is preferable to generate the correction data based on a comparison result with the reference image data thus obtained.
本発明の態様3の構成によると、撮像部が本体に内蔵されているシステムにおいても、参照画像の鏡像を撮像した撮像画像データと参照画像データとを適切に比較することができる。 According to the configuration of the third aspect of the present invention, even in a system in which the imaging unit is built in the main body, it is possible to appropriately compare the captured image data obtained by capturing the mirror image of the reference image with the reference image data.
本発明の態様4に係る補正画像生成システムでは、上記態様2において、前記表示部は、反転させた前記参照画像データに基づいて前記参照画像を表示し、前記補正データ生成部は、前記撮像画像データと前記参照画像データとの比較結果に基づいて前記補正データを生成することが好ましい。 In the correction image generation system according to the fourth aspect of the present invention, in the second aspect, the display unit displays the reference image based on the inverted reference image data, and the correction data generation unit causes the captured image to be displayed. It is preferable that the correction data is generated based on a comparison result of data and the reference image data.
本発明の態様4の構成によると、撮像部が本体に内蔵されているシステムにおいても、参照画像の鏡像を撮像した撮像画像データと参照画像データとを適切に比較することができる。 According to the configuration of the fourth aspect of the present invention, even in a system in which the imaging unit is built in the main body, it is possible to appropriately compare the captured image data obtained by capturing the mirror image of the reference image with the reference image data.
本発明の態様5に係る補正画像生成システムでは、上記態様2〜4のいずれかの態様において、前記本体は、第1面と、前記第1面の反対面である第2面とを有し、前記表示部の表示面と前記撮像部の撮像窓が前記第1面の方向に露出するように、前記表示部および前記撮像部が前記本体に取り付けられていることが好ましい。
In the corrected image generation system according to
本発明の態様5の構成によると、表示部の表示面と撮像部の撮像窓の両方が同一方向を向く機器構成からなるシステムにおいても、撮像部が表示部に表示された参照画像を撮像することによって、補正データを得ることができる。 According to the configuration of the fifth aspect of the present invention, even in a system having a device configuration in which both the display surface of the display unit and the imaging window of the imaging unit face the same direction, the imaging unit captures the reference image displayed on the display unit. Thus, the correction data can be obtained.
本発明の態様6に係る補正画像生成システムでは、上記態様1において、前記撮像部は、前記本体への装着と前記装着の解除を行う脱着機構を備えることが好ましい。 In the corrected image generation system according to the sixth aspect of the present invention, in the first aspect, it is preferable that the imaging unit includes an attachment/detachment mechanism that attaches to the main body and releases the attachment.
本発明の態様6の構成によると、撮像部が、本体に着脱自在な機器構成からなるシステムにおいても、撮像部が表示部に表示された参照画像を撮像することによって、補正データを得ることができる。 According to the configuration of the sixth aspect of the present invention, even in a system in which the image capturing unit has a device configuration that is detachable from the main body, the image capturing unit can obtain the correction data by capturing the reference image displayed on the display unit. it can.
本発明の態様7に係る補正画像生成システムでは、上記態様6において、前記撮像部の前記本体との脱着状態を検出する脱着検出部をさらに備え、前記補正データ生成部は、前記撮像部が前記本体から取り外されている場合、前記表示部の表示面に表示されるか、または、前記本体に設けられた認識マークを検出することによって前記参照画像が鏡像か否かを判定し、前記参照画像が鏡像であると判定する場合に、反転させた前記撮像画像データと前記参照画像データとの比較結果、または、前記撮像画像データと反転させた前記参照画像データとの比較結果に基づいて、前記補正データを生成することが好ましい。 In the corrected image generation system according to the seventh aspect of the present invention, in the above-mentioned sixth aspect, a detachment detection unit that detects a detachment state of the imaging unit with respect to the main body is further provided, and the correction data generation unit includes the imaging unit When the reference image is removed from the main body, it is displayed on the display surface of the display unit, or it is determined whether the reference image is a mirror image by detecting a recognition mark provided on the main body. When it is determined that is a mirror image, the comparison result of the inverted captured image data and the reference image data, or based on the comparison result of the captured image data and the inverted reference image data, It is preferable to generate the correction data.
本発明の態様7の構成によると、撮像部が本体に着脱自在な機器構成からなるシステムにおいても、撮像画像データと参照画像データを適切に比較することができる。 According to the configuration of the seventh aspect of the present invention, it is possible to appropriately compare the captured image data and the reference image data even in a system in which the imaging unit has a device configuration in which the main body is detachable.
本発明の態様8に係る補正画像生成システムでは、上記態様1において、前記撮像部は、前記本体と別機器で形成されており、前記撮像部は、有線または無線によって、前記本体と接続されていることが好ましい。 In the corrected image generation system according to aspect 8 of the present invention, in the aspect 1, the image pickup section is formed by a device different from the main body, and the image pickup section is connected to the main body by wire or wirelessly. Is preferred.
本発明の態様8の構成によると、撮像部が、本体と別機器で形成される機器構成からなるシステムにおいても、有線または無線によって、撮像部の参照画像の撮像による撮像画像データを本体に通信することによって、補正データを得ることができる。 According to the configuration of the eighth aspect of the present invention, even in a system in which the image capturing unit is configured by a device different from the main body, wired or wireless communication of captured image data obtained by capturing the reference image of the image capturing unit to the main body. By doing so, correction data can be obtained.
本発明の態様9に係る補正画像生成システムでは、上記態様8において、前記補正データ生成部は、前記表示部の表示面に表示されるか、または、前記本体に設けられた認識マークを検出することによって前記参照画像が鏡像か否かを判定し、前記参照画像が鏡像であると判定する場合に、反転させた前記撮像画像データと前記参照画像データとの比較結果、または、前記撮像画像データと反転させた前記参照画像データとの比較結果に基づいて、前記補正データを生成することが好ましい。 In the corrected image generation system according to the ninth aspect of the present invention, in the eighth aspect, the correction data generation section detects a recognition mark displayed on the display surface of the display section or provided on the main body. By determining whether the reference image is a mirror image by, by determining that the reference image is a mirror image, the comparison result of the inverted captured image data and the reference image data, or the captured image data It is preferable to generate the correction data based on a result of comparison with the reference image data that has been inverted.
本発明の態様9の構成によると、撮像部が本体と別機器で形成される機器構成からなるシステムにおいても、撮像画像データを参照画像データと適切に比較することができる。 According to the configuration of the ninth aspect of the present invention, the captured image data can be appropriately compared with the reference image data even in a system having a device configuration in which the image capturing unit is formed of a device different from the main body.
本発明の態様10に係る補正画像生成システムでは、上記態様7または9において、前記補正データ生成部は、前記認識マークを検出することによって、前記撮像画像データの向きを判定し、前記撮像画像データの向きが前記参照画像データの向きと異なる場合に、前記撮像画像データの向きを前記参照画像データの向きと一致させることが好ましい。
In the corrected image generation system according to
本発明の態様10の構成によると、撮像部が、参照画像に対して傾いた状態でその参照画像を撮像した場合であっても、撮像画像データを参照画像データと適切に比較することができる。 According to the configuration of the tenth aspect of the present invention, the captured image data can be appropriately compared with the reference image data even when the image capturing unit captures the reference image in a state of being inclined with respect to the reference image. ..
本発明の態様11に係る補正画像生成システムでは、上記態様1〜10のいずれかの1態様において、前記記憶部は、書き換え可能な不揮発性の記憶媒体であることが好ましい。
In the corrected image generation system according to
本発明の態様11の構成によると、補正画像生成システムの動作後も、適宜生成された補正データなどの様々なデータを不揮発性の記憶部に格納し続けることができる。これにより、次回動作時も、補正データ生成システムは、記憶部に格納されたデータを用いることができる。 According to the configuration of the eleventh aspect of the present invention, it is possible to continue storing various data such as the correction data that is appropriately generated in the nonvolatile storage unit even after the operation of the correction image generation system. This allows the correction data generation system to use the data stored in the storage unit even in the next operation.
本発明の態様12に係る補正画像生成システムでは、上記態様11において、格納されたデータが読み出される読み出し速度が前記記憶部より速い揮発性の一時記憶部をさらに備えることが好ましい。 In the corrected image generation system according to the twelfth aspect of the present invention, it is preferable that the corrected image generation system according to the twelfth aspect further includes a volatile temporary storage unit having a read speed at which the stored data is read out is faster than the storage unit.
本発明の態様12の構成によると、一時記憶部に必要なデータを格納することにより、補正画像生成システムの動作速度が速くなるので、補正画像生成システムの動作がスムーズになる。 According to the configuration of the twelfth aspect of the present invention, by storing necessary data in the temporary storage unit, the operation speed of the corrected image generation system is increased, so that the operation of the corrected image generation system becomes smooth.
本発明の態様13に係る補正画像生成システムでは、上記態様12において、前記記憶部は、前記補正データ生成部が生成した前記補正データを格納し、前記一時記憶部は、前記電子機器の動作中に、前記記憶部から前記補正データを読み出すことで、前記補正データを一時的に格納し、前記画像データ補正部は、前記一時記憶部に格納される前記補正データを読み出すことで、前記画像データを補正することが好ましい。 In the corrected image generation system according to the thirteenth aspect of the present invention, in the twelfth aspect, the storage section stores the correction data generated by the correction data generation section, and the temporary storage section is in operation of the electronic device. In addition, the correction data is temporarily stored by reading the correction data from the storage unit, and the image data correction unit reads the correction data stored in the temporary storage unit. Is preferably corrected.
本発明の態様13の構成によると、画像データ補正部が、記憶部ではなく一時記憶部から補正データを読み出すので、補正データを用いて画像データを補正するための画像処理速度が速くなる。したがって、画像データの補正がスムーズに行われる。 According to the configuration of the thirteenth aspect of the present invention, since the image data correction unit reads the correction data from the temporary storage unit instead of the storage unit, the image processing speed for correcting the image data using the correction data becomes faster. Therefore, the image data is smoothly corrected.
本発明の態様14に係る画像制御プログラムは、画像データに基づいて画像を表示する表示部、参照画像データを格納した記憶部、前記画像データの補正データを生成する補正データ生成部、および前記画像データを補正する画像データ補正部を備える電子機器の本体と、被写体を撮像する撮像部とを含む補正画像生成システムにおける前記画像の表示むらを補正させるための画像制御プログラムにおいて、前記表示部に、前記参照画像データに基づいて、参照画像を表示させる第1ステップと、前記撮像部に、前記参照画像を撮像させることによって、撮像画像データを取得させる第2ステップと、前記補正データ生成部に、前記撮像画像データまたは前記撮像画像データに基づくデータと前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成させる第3ステップと、前記画像データ補正部に、前記補正データを用いて前記画像データを補正させる第4ステップとを前記補正画像生成システムに実行させる。 An image control program according to aspect 14 of the present invention is a display unit that displays an image based on image data, a storage unit that stores reference image data, a correction data generation unit that generates correction data of the image data, and the image. In an image control program for correcting display unevenness of the image in a corrected image generation system including a main body of an electronic device including an image data correction unit that corrects data, and an imaging unit that images a subject, the display unit includes: A first step of displaying a reference image based on the reference image data; a second step of causing the image capturing unit to capture the captured image data by capturing the reference image; and the correction data generating unit, A third step of generating the correction data based on a comparison result between the captured image data or data based on the captured image data and the reference image data or data based on the reference image data; and the image data correction unit, And causing the corrected image generation system to execute a fourth step of correcting the image data using the correction data.
本発明の態様14の構成によると、補正データ生成部および画像データ補正部が表示部と一体的に本体に備えられているため、撮像部が本体と一体的に撮像部を備える機器構成か否かを問わず、画像制御プログラムは、本体を操作するユーザが意図するタイミングで、何度でも、補正データ生成部に補正データを生成させることができる。これにより、画像制御プログラムは、画像データ補正部に補正データを用いて補正させた画像データによって、経時劣化した表示部の画質を改善させることができる。 According to the configuration of the fourteenth aspect of the present invention, since the correction data generation unit and the image data correction unit are provided in the main body integrally with the display unit, whether the device configuration is such that the image pickup unit integrally includes the image pickup unit. Regardless of this, the image control program can cause the correction data generation unit to generate the correction data as many times as desired by the user operating the main body. Accordingly, the image control program can improve the image quality of the display unit deteriorated with time by the image data corrected by the image data correction unit using the correction data.
本発明の態様15に係る画像制御プログラムは、上記態様14において、前記第2ステップにおいて、前記撮像部に、有線通信または無線通信によって前記撮像画像データを前記補正データ生成部に入力させることが好ましい。 In the image control program according to aspect 15 of the present invention, in the aspect 14, in the second step, it is preferable that the image capturing unit inputs the captured image data to the correction data generating unit by wired communication or wireless communication. ..
本発明の態様15の構成によると、本体と別機器で形成される機器構成からなるシステムにおいて画像制御プログラムを実行しても、有線または無線によって、撮像部に参照画像の撮像による撮像画像データを本体に通信させることによって、補正データを得ることができる。 According to the configuration of the fifteenth aspect of the present invention, even when the image control program is executed in the system having the device configuration formed of the main body and the separate device, the captured image data obtained by capturing the reference image is wired or wirelessly captured by the imaging unit. Correction data can be obtained by communicating with the main body.
本発明の態様16に係る画像制御プログラムは、上記態様14において、前記第2ステップにおいて、前記参照画像の鏡像を撮像することよって、前記撮像部に前記撮像画像データを取得させることが好ましい。 In the aspect 14, the image control program according to aspect 16 of the present invention preferably causes the image capturing unit to acquire the captured image data by capturing a mirror image of the reference image in the second step.
本発明の態様16の構成によると、例えば、表示部の表示面と撮像部の撮像窓の両方が同一方向を向く機器構成からなるシステムにおいて画像制御プログラムを実行しても、撮像部に参照画像の鏡に映し出した鏡像を撮像させることによって、補正データを得ることができる。 According to the configuration of the sixteenth aspect of the present invention, for example, even when the image control program is executed in a system having a device configuration in which both the display surface of the display unit and the imaging window of the imaging unit face the same direction, the reference image is displayed in the imaging unit. The correction data can be obtained by capturing the mirror image projected on the mirror.
本発明の態様17に係る記録媒体は、上記態様14〜16のいずれかの態様の画像制御プログラムを記憶した、コンピュータで読み取り可能な非一時的な記録媒体である。 A recording medium according to aspect 17 of the present invention is a non-transitory computer-readable recording medium that stores the image control program according to any one of aspects 14 to 16 above.
本発明の態様17の構成によると、記憶された画像制御プログラムの実行によって、本体を操作するユーザが意図するタイミングで、何度でも、補正データ生成部に補正データを生成させることができる。従って、画像データ補正部に補正データを用いて補正させた画像データによって、経時劣化した表示部の画質を改善させることができる。 According to the configuration of the seventeenth aspect of the present invention, by executing the stored image control program, it is possible to cause the correction data generation unit to generate the correction data as many times as desired by the user operating the main body. Therefore, the image data corrected by the image data correction unit using the correction data can improve the image quality of the display unit deteriorated with time.
10 補正画像生成システム
11 本体
11a 第1面
11b 第2面
12 別機器
20 表示部
20a 表示面
30 撮像部
40 制御部
41 補正データ生成部
42 画像データ補正部
48 記憶部
49 一時記憶部
R 認識マーク
U1、U4 表示むらの暗部
U2、U3 表示むらの明部
10 corrected
Claims (7)
前記参照画像データを用いて表示された参照画像を撮像することによって撮像画像データを取得する撮像部と
を備え、
前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと、前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成し、
前記補正データ生成部は、前記表示部の表示面に表示されるか、または、前記本体に設けられた認識マークを検出することによって前記参照画像が鏡像か否かを判定し、前記参照画像が鏡像であると判定する場合に、反転させた前記撮像画像データと前記参照画像データとの比較結果、または、前記撮像画像データと反転させた前記参照画像データとの比較結果に基づいて、前記補正データを生成する、補正画像生成システム。 A display unit, a storage unit that stores reference image data, a correction data generation unit that generates correction data based on the image displayed on the display unit and the reference image data, and the image data is corrected using the correction data. A main body of an electronic device including an image data correction unit,
An image capturing unit that acquires captured image data by capturing a reference image displayed using the reference image data,
The correction data generation unit generates the correction data based on a comparison result between the captured image data or data based on the captured image data and the reference image data or data based on the reference image data,
The correction data generation unit determines whether the reference image is a mirror image by being displayed on the display surface of the display unit or by detecting a recognition mark provided on the main body, and the reference image is When it is determined that the image is a mirror image, the correction is performed based on the comparison result of the inverted captured image data and the reference image data, or the comparison result of the captured image data and the inverted reference image data. A corrected image generation system that generates data.
前記一時記憶部は、前記電子機器の動作中に、前記記憶部から前記補正データを読み出すことで、前記補正データを一時的に格納し、
前記画像データ補正部は、前記一時記憶部に格納される前記補正データを読み出すことで、前記画像データを補正する、請求項4記載の補正画像生成システム。 The storage unit stores the correction data generated by the correction data generation unit,
The temporary storage unit temporarily stores the correction data by reading the correction data from the storage unit during operation of the electronic device,
The corrected image generation system according to claim 4, wherein the image data correction unit corrects the image data by reading the correction data stored in the temporary storage unit.
前記表示部に、前記参照画像データに基づいて、参照画像を表示させる第1ステップと、
前記撮像部に、前記参照画像を撮像させることによって、撮像画像データを取得させる第2ステップと、
前記補正データ生成部に、前記撮像画像データまたは前記撮像画像データに基づくデータと前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成させる第3ステップと、
前記画像データ補正部に、前記補正データを用いて前記画像データを補正させる第4ステップと
を前記補正画像生成システムに実行させ、
前記第3ステップにおいて、前記補正データ生成部に、前記表示部の表示面に表示されるか、または、前記本体に設けられた認識マークを検出することによって前記参照画像が鏡像か否かを判定させ、前記参照画像が鏡像であると判定する場合に、反転させた前記撮像画像データと前記参照画像データとの比較結果、または、前記撮像画像データと反転させた前記参照画像データとの比較結果に基づいて、前記補正データを生成させる、画像制御プログラム。 Electronic device including a display unit that displays an image based on image data, a storage unit that stores reference image data, a correction data generation unit that generates correction data for the image data, and an image data correction unit that corrects the image data In the image control program for correcting the display unevenness of the image in the correction image generation system including the main body of
A first step of displaying a reference image on the display unit based on the reference image data;
A second step of causing the image capturing unit to capture the captured image data by capturing the reference image;
A third step of causing the correction data generation unit to generate the correction data based on a comparison result between the captured image data or data based on the captured image data and the reference image data or data based on the reference image data;
A fourth step of causing the image data correction unit to correct the image data using the correction data, and causing the corrected image generation system to execute the fourth step;
In the third step, the correction data generation unit determines whether the reference image is a mirror image by being displayed on the display surface of the display unit or by detecting a recognition mark provided on the main body. Then, when it is determined that the reference image is a mirror image, the comparison result of the inverted captured image data and the reference image data, or the comparison result of the captured image data and the inverted reference image data An image control program for generating the correction data based on the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048154A JP2020112812A (en) | 2020-03-18 | 2020-03-18 | Correction image generation system, image control program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048154A JP2020112812A (en) | 2020-03-18 | 2020-03-18 | Correction image generation system, image control program, and recording medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571372A Division JP6679811B1 (en) | 2018-12-25 | 2018-12-25 | Correction image generation system, image control program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020112812A true JP2020112812A (en) | 2020-07-27 |
Family
ID=71667010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020048154A Ceased JP2020112812A (en) | 2020-03-18 | 2020-03-18 | Correction image generation system, image control program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020112812A (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281124A (en) * | 2001-03-16 | 2002-09-27 | Nikon Gijutsu Kobo:Kk | Communications equipment capable of receiving portable telephone service |
JP2005150922A (en) * | 2003-11-12 | 2005-06-09 | Seiko Epson Corp | Device and method for regulating display state of projector |
JP2009244965A (en) * | 2008-03-28 | 2009-10-22 | Yaskawa Electric Corp | Moving object |
JP2010066406A (en) * | 2008-09-09 | 2010-03-25 | Sony Corp | Image position recognizing device, image position recognizing method, program, and compensation data setting device of image display device |
JP2011077825A (en) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | Display device, display system, display method and program |
JP2012008169A (en) * | 2010-06-22 | 2012-01-12 | Sony Corp | Image display device, electronic equipment, measurement jig, image display system, image display method, display correction device, display correction method and program |
JP2013251813A (en) * | 2012-06-01 | 2013-12-12 | Nikon Corp | Electronic apparatus, display control system, and program |
JP2014137585A (en) * | 2013-01-18 | 2014-07-28 | Renesas Sp Drivers Inc | Display panel driver, panel display device, and adjusting device |
JP2018088669A (en) * | 2016-11-24 | 2018-06-07 | アルパイン株式会社 | Projection image distortion correction device and method |
-
2020
- 2020-03-18 JP JP2020048154A patent/JP2020112812A/en not_active Ceased
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281124A (en) * | 2001-03-16 | 2002-09-27 | Nikon Gijutsu Kobo:Kk | Communications equipment capable of receiving portable telephone service |
JP2005150922A (en) * | 2003-11-12 | 2005-06-09 | Seiko Epson Corp | Device and method for regulating display state of projector |
JP2009244965A (en) * | 2008-03-28 | 2009-10-22 | Yaskawa Electric Corp | Moving object |
JP2010066406A (en) * | 2008-09-09 | 2010-03-25 | Sony Corp | Image position recognizing device, image position recognizing method, program, and compensation data setting device of image display device |
JP2011077825A (en) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | Display device, display system, display method and program |
JP2012008169A (en) * | 2010-06-22 | 2012-01-12 | Sony Corp | Image display device, electronic equipment, measurement jig, image display system, image display method, display correction device, display correction method and program |
JP2013251813A (en) * | 2012-06-01 | 2013-12-12 | Nikon Corp | Electronic apparatus, display control system, and program |
JP2014137585A (en) * | 2013-01-18 | 2014-07-28 | Renesas Sp Drivers Inc | Display panel driver, panel display device, and adjusting device |
JP2018088669A (en) * | 2016-11-24 | 2018-06-07 | アルパイン株式会社 | Projection image distortion correction device and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210166654A1 (en) | Method for detecting compensation parameters of brightness, method for compensating brightness, detection device for detecting compensation parameters of brightness, brightness compensation device, display device, and non-volatile storage medium | |
JP5772991B2 (en) | Electronics | |
JP6278706B2 (en) | Pattern position detection method, pattern position detection system, and image quality adjustment technique using them | |
US7990431B2 (en) | Calculation method for the correction of white balance | |
CN109523955A (en) | Pixel compensation method and device, storage medium, display screen | |
JP2007018876A (en) | Manufacturing method of organic el display device | |
US9383635B2 (en) | Image processing device, projector, and image processing method | |
JP6679811B1 (en) | Correction image generation system, image control program, and recording medium | |
JP2021189278A (en) | Light-emitting device and electronic apparatus | |
JP5205978B2 (en) | projector | |
JP6722366B1 (en) | Correction image generation system, image control method, image control program, and recording medium | |
US20240087495A1 (en) | Compensation method and compensation apparatus for display panel, and display apparatus and storage medium | |
JP6732144B1 (en) | Correction image generation system, image control method, image control program, and recording medium | |
JP2020112812A (en) | Correction image generation system, image control program, and recording medium | |
WO2013115356A1 (en) | Image display device, electronic apparatus, electronic camera, and information terminal | |
JP2015222332A (en) | Display panel manufacturing method | |
JP2010066352A (en) | Measuring device, correction data generating device, measuring method, correction data generating method and correction data generating program | |
JP4956955B2 (en) | Image input / output device, image correction device, image correction program, and image correction method | |
JP2007049496A (en) | Image processing method and apparatus | |
KR102153567B1 (en) | Apparatus and method for compensating of brightness deviation | |
JP2005033330A (en) | White balance control apparatus and electronic equipment | |
JP5211703B2 (en) | projector | |
WO2024084635A1 (en) | Image data acquisition method, image data acquisition device, terminal device, and display correction system | |
JPWO2018220757A1 (en) | Unevenness correction data generation device | |
JP2014063094A (en) | Image processing apparatus, electronic apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20220426 |