JP2009130640A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2009130640A JP2009130640A JP2007303631A JP2007303631A JP2009130640A JP 2009130640 A JP2009130640 A JP 2009130640A JP 2007303631 A JP2007303631 A JP 2007303631A JP 2007303631 A JP2007303631 A JP 2007303631A JP 2009130640 A JP2009130640 A JP 2009130640A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- user
- image
- image processing
- viewing angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Facsimiles In General (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、ユーザーが操作する位置に拘わらず、最適な画像表示を自動的に実現する画像処理装置に関するものである。 The present invention relates to an image processing apparatus that automatically realizes optimum image display regardless of a position operated by a user.
今日、コピー機能、ファクシミリ機能、プリント機能、スキャナ機能を複合したいわゆるＭＦＰ（Multi Function Peripheral）と称されるデジタルカラー複合機が提供されている。
このデジタルカラー複合機は、前方に操作部が設置されており、通常液晶表示パネルを見ながら操作が行なわれる。ＭＰＦは、不特定多数のユーザーに使用されるため、ユーザーの身長の高低、また、立ち位置による視角の違いにより、液晶表示パネルの見え方は大きく異なっていた。
一般に、液晶表示パネルのような視角による階調特性が均一でない表示装置は、構造上、正面から外れた位置から見ると、その位置に応じて色ずれや、輝度が大きく変化するため、暗い階調が失われて黒つぶれが発生したり、明るい階調が失われて白抜けが発生したりと、階調の表現性に大きな支障が発生していた。
特に、ＭＦＰに用いられる視野角が狭い安価な液晶表示パネルにおいては、階調特性変化が正面から少しずれるだけで大きく変化するので、単純なコントラストや輝度調整では適正な補正を得ることはことができなかった。
2. Description of the Related Art Today, a digital color multifunction peripheral called a so-called MFP (Multi Function Peripheral) that combines a copy function, a facsimile function, a print function, and a scanner function is provided.
This digital color multifunction peripheral has an operation unit installed in the front, and is usually operated while looking at the liquid crystal display panel. Since the MPF is used by an unspecified number of users, the appearance of the liquid crystal display panel is greatly different depending on the height of the user and the difference in viewing angle depending on the standing position.
Generally, a display device such as a liquid crystal display panel with non-uniform gradation characteristics depending on the viewing angle is structurally dark, because when viewed from a position off the front, the color shift and luminance change greatly depending on the position. Loss of tones causes black crushing, and bright gradations are lost and white spots occur, which greatly impairs gradation expression.
In particular, in an inexpensive liquid crystal display panel with a narrow viewing angle used for an MFP, the gradation characteristic changes greatly with a slight deviation from the front, so that it is possible to obtain an appropriate correction by simple contrast and brightness adjustment. could not.
かかる適正な補正が得られないという不都合は、高価な広視野角液晶表示パネルを使用することにより改善されるが、それでも視角が大きくなれば、同様に問題は発生する。
かかる単純なコントラストや輝度調整では適正な補正を得ることができないという上述した問題を回避するために、従来から、幾つかの技術が提案されている（例えば、特許文献１参照）。
特許文献１には、液晶表示パネルにチルト機構を設けるなどして最適な視角に調節する方法や、さらにユーザーの位置を検出し自動的に液晶表示パネルを回転する回転駆動機構を備えた表示装置が開示されている。
In order to avoid the above-described problem that appropriate correction cannot be obtained by such simple contrast and brightness adjustment, several techniques have been proposed in the past (for example, see Patent Document 1).
しかしながら、機械部品に多大なコストが発生する上、手動でチルト角を調整するなどユーザーに煩わしい操作を強いることなどより実用化にはデメリットが大きかった。
そこで、本発明の目的は、上述した実情を考慮して、視角依存性のある液晶パネルに対し、ユーザーの立ち位置により階調の表現性に支障を発生せず、安価に製造できる画像処理装置を提供することにある。
However, a great deal of cost is required for the machine parts, and there are great disadvantages in practical use because the user has to perform troublesome operations such as manually adjusting the tilt angle.
Accordingly, an object of the present invention is to provide an image processing apparatus that can be manufactured at low cost without causing any trouble in gradation expression depending on the user's standing position with respect to a viewing angle dependent liquid crystal panel in consideration of the above-described situation. Is to provide.
上記の課題を解決するために、請求項１に記載の発明は、印刷装置及び画像読み取り装置を含む画像処理ユニット部と液晶表示パネルを有する操作部を含む情報処理ユニット部とを備えた画像処理装置において、ユーザーの液晶表示パネルに対する視角を取得する視角取得手段と、複数の視角に対応して、輝度の補正値が予め設定された補正マトリクスと、前記視角取得手段により取得された視角に対応する輝度を、前記ユーザーに関連付けて保存する補正プロファイルと、前記ユーザーによる視角取得動作の実施により、前記補正プロファイルを用いて表示画像に対して補正を行う画像補正手段と、を有する画像処理装置を特徴とする。
また、請求項２に記載の発明は、前記補正マトリクスが、前記液晶表示パネルの外気温度による表示特性を含み、外気温度を計測する温度計測手段と、前記外気温度による温度補正も兼ねた画像補正手段と、を備える請求項１記載の画像処理装置を特徴とする。
In order to solve the above-mentioned problem, the invention according to
According to a second aspect of the present invention, the correction matrix includes display characteristics based on the outside temperature of the liquid crystal display panel, and image correction that also serves as temperature measuring means for measuring the outside temperature and temperature correction based on the outside temperature. And an image processing apparatus according to
また、請求項３に記載の発明は、前記補正マトリクスが、前記液晶表示パネルの経時変化に伴う表示特性の変化を含み、経時変化の伴う画像補正手段を備える請求項１記載の画像処理装置を特徴とする。
また、請求項４に記載の発明は、前記視角取得手段の視覚取得が、前記ユーザーの視点が或る一定の範囲から変化した際に行なわれる請求項１記載の画像処理装置を特徴とする。
また、請求項５に記載の発明は、前記補正マトリクスが、前記液晶表示パネルに対して上下方向で一定範囲の視角ごとに境界を設け、それぞれに異なる補正値を設定した請求項１記載の画像処理装置を特徴とする。
また、請求項６に記載の発明は、前記ユーザーによる視角取得動作の実施に、指紋センサ、又は顔認識である生体認証デバイスを使用することを特徴とする請求項１記載の画像処理装置を特徴とする。
According to a third aspect of the present invention, in the image processing apparatus according to the first aspect, the correction matrix includes a display characteristic change accompanying a change with time of the liquid crystal display panel, and includes image correction means with a change with time. Features.
According to a fourth aspect of the present invention, there is provided the image processing apparatus according to the first aspect, wherein the visual acquisition of the visual angle acquisition means is performed when the viewpoint of the user changes from a certain range.
According to a fifth aspect of the present invention, in the image according to the first aspect, the correction matrix has a boundary for each viewing angle within a certain range in the vertical direction with respect to the liquid crystal display panel, and a different correction value is set for each boundary. Features a processing device.
The invention according to
本発明によれば、ユーザーの視点・立ち位置に左右されない、最適な階調特性が得られる表示画像を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the display image which can obtain the optimal gradation characteristic without being influenced by a user's viewpoint and standing position can be provided.
以下、図面を参照して、本発明の実施の形態を詳細に説明する。図１は画像処理装置として一般的なデジタルカラー複合機の各部の電気的接続を示すブロック図である。
図１の実施の形態では、画像処理装置として、コピー機能、ファクシミリ機能、プリント機能、スキャナ機能及び入力画像（スキャナ機能による読み取り原稿画像、プリンタ、又はファクシミリ機能により入力された画像）を配信する機能等を複合した、いわゆる、ＭＦＰと称されるデジタルカラー複合機１を示している。
かかるデジタルカラー複合機１は、画像処理ユニット部Ａと情報処理ユニット部Ｂに大別されている。印刷装置７及び画像読取装置８は画像処理ユニット部Ａに属し、操作部Ｐ及び外部メディア入出力装置９は情報処理ユニット部Ｂに属している。
まず、画像処理ユニット部Ａについて説明する。印刷装置７及び画像読取装置８を備える画像処理ユニット部Ａは、この画像処理ユニット部Ａにおける画像処理全般の制御を行なう画像処理制御ユニット１０を備えている。
この画像処理制御ユニット１０には、印刷装置７を制御する印刷制御ユニット１１と、画像読取装置８を制御する画像読取制御ユニット１２とが接続されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the electrical connection of each part of a general digital color MFP as an image processing apparatus.
In the embodiment of FIG. 1, as an image processing apparatus, a copy function, a facsimile function, a print function, a scanner function, and an input image (an original image read by the scanner function, an image input by a printer, or a facsimile function) are distributed. A digital color multi-function peripheral 1 called a so-called MFP is shown.
The digital color multifunction peripheral 1 is roughly divided into an image processing unit A and an information processing unit B. The printing device 7 and the
First, the image processing unit A will be described. The image processing unit A including the printing device 7 and the
The image
印刷読取制御ユニット１１は画像処理制御ユニット１０の制御に従って、印刷装置７に対して画像データを含む印刷指示を出力し、印刷装置７に転写紙等の記録媒体に画像を形成して出力させる。
印刷装置７はフルカラー印刷可能になっており、その印刷方式は、電子写真方式の他にも、インクジェット方式、直接感熱記録方式等、様々な方式を用いることができる。
画像読取制御ユニット１２は、画像処理制御ユニット１０の制御により、画像読取装置８を駆動し、原稿の表面に対するランプ照射の反射光をミラー及びレンズにより受光素子（例えば、ＣＣＤ（電荷結合デバイス））に集光して読み取り、Ａ／Ｄ変換してＲＧＢ各８ビットのデジタル画像データを生成する。
かかる画像処理制御ユニット１０はメインプロセッサであるＣＰＵ（中央処理ユニット）１３と、画像読取装置８から読み込んだ画像データを印刷装置７による作像に供するように一旦格納しておくメモリデバイス、例えば、ＳＤＲＡＭ１４と、制御プログラムを記憶したＲＯＭ１５と、システムログ／システム設定／ログ情報等を記憶しておく、電源オフ時にもデータの保持が可能なＮＶＲＡＭ１６と、をバス接続したマイクロコンピュータ構成になっている。
Under the control of the image
The printing apparatus 7 is capable of full color printing, and various printing methods such as an ink jet method and a direct thermal recording method can be used as the printing method.
The image
The image
画像処理制御ユニット１０には、多量の画像データの蓄積、ジョブ履歴等の記憶装置となるＨＤＤ（ハードディスクドライブ）１７、デジタルカラー複合機１内部に設けられた集線装置であるＨＵＢ（ハブ）１９を介して画像処理ユニット部ＡをＬＡＮ２に接続するためのＬＡＮ制御部１８、ＦＡＸ（ファクシミリ）制御を行なうＦＡＸ制御ユニット２０が接続されている。
このＦＡＸ制御ユニット２０は、公衆電話網（図示せず）に通じる構内交換器２２に接続されており、デジタルカラー複合機１は遠隔のファクシミリと交信することができる。
さらに、画像処理制御ユニット１０には、表示制御ユニット２３及び操作入力制御ユニット２４が接続されている。表示制御ユニット２３は、画像処理制御ユニット１０の制御によって制御パネルＩ／Ｆ２５に接続された通信ケーブル２６を介して情報処理ユニット部Ｂに対して画像表示制御信号を出力し、情報処理ユニット部Ｂの操作パネルＰに対して画像表示の制御を行なう。
The image
The
Further, a
また、操作入力制御ユニット２４は、情報処理ユニット部Ｂの操作パネルＰからのオペレータによる機能設定や入力操作に応じた入力制御信号を、画像処理制御ユニット１０の制御によって制御パネルＩ／Ｆ２５に接続された通信ケーブル２６を介して入力する。すなわち、画像処理ユニット部Ａは、情報処理ユニット部Ｂの操作パネルＰを、通信ケーブル２６を介して直接モニタすることができる構成になっている。
従って、画像処理ユニット部Ａは、従来の画像処理装置が備える画像処理ユニットに対して通信ケーブル２６を接続し、情報処理ユニット部Ｂの操作パネルＰを接続するようにしたものである。すなわち、画像処理ユニット部Ａの表示制御ユニット２３及び操作入力制御ユニット２４は、操作パネルＰに接続されているものとして動作している。
このような構成により、画像処理ユニット部Ａは、外部（例えば、サーバコンピュータ、クライアントコンピュータ、ファクシミリ等）からの画像情報である印刷データ及び印刷を指示するコマンドを解析し、印刷データを出力画像データとして印刷できる状態にビットマップ展開し、印刷モードをコマンドから解析して動作を決定している。その印刷データ及びコマンドをＬＡＮ制御部１８あるいはＦＡＸ制御ユニット２０を通じて受信し動作する。
画像処理ユニット部Ａは、画像読取装置８の読み取り画像データを画像処理制御ユニット１０に転送し、光学系及びデジタル信号への量子化に伴う信号劣化を補正し、画像データをＳＤＲＡＭ１４に書き込む。このようにしてＳＤＲＡＭ１４に格納された画像データは、印刷読取制御ユニット１１で出力画像データに変換されて印刷装置７に出力される。
Further, the operation
Therefore, in the image processing unit A, the
With such a configuration, the image processing unit A analyzes the print data that is image information from the outside (for example, a server computer, a client computer, a facsimile, and the like) and a command that instructs printing, and outputs the print data as output image data. As a result, the bitmap is expanded so that it can be printed, and the operation is determined by analyzing the print mode from the command. The print data and command are received and operated through the LAN control unit 18 or the
The image processing unit A transfers image data read by the
次に、情報処理ユニットＢについて説明する。この情報処理ユニットＢは、メインプロセッサであるＣＰＵ３１を有している。このＣＰＵ３１には、メモリユニット３２とＨＤＤ等の記憶装置３４に対するデータの入出力を制御する記憶装置制御ユニット３５とがバス接続されている。
また、ＣＰＵ３１には、情報処理ユニットＢを、ＨＵＢ１９を介してＬＡＮ２に接続するためのＬＡＮ制御部３３が接続されている。画像処理ユニット部Ａと情報処理ユニットＢはＬＡＮ２に接続されていることになり、これらの画像処理ユニット部Ａと情報処理ユニットＢとの間ではデータ交換が可能な構成になっている。
さらに、ＣＰＵ３１には、操作パネルＰを制御する表示制御ユニット３６及び操作入力制御ユニット３７が接続されている。操作パネルＰは、例えば、ＬＣＤ（液晶ディスプレイ）である表示装置４０と、操作入力装置４１とで構成されている。
Next, the information processing unit B will be described. The information processing unit B has a
The
Further, a
表示制御ユニット３６は、画像表示信号を制御パネルＩ／Ｆ３８を介して表示装置４０に出力し、画像表示信号に応じた所定事項を表示装置４０に表示させる。一方、操作入力制御ユニット３７は、操作入力装置４１におけるオペレータによる機能設定や入力操作に応じた入力制御信号を、制御パネルＩ／Ｆ３８を介して受信する。
加えて、ＣＰＵ３１には、画像処理ユニット部Ａの制御パネルＩ／Ｆ２５と通信ケーブル２６を介して接続されている制御パネル通信ユニット３９が接続されている。この制御パネル通信ユニット３９は、画像処理ユニット部Ａから出力された画像表示制御信号を受信し、また、操作パネルＰからのオペレータによる機能設定や入力操作に応じた入力制御信号を画像処理ユニット部Ａに転送する。
制御パネル通信ユニット３９で受信した画像処理ユニット部Ａからの画像表示制御信号は操作パネルＰの表示装置４０用にデータ変換されてから表示制御ユニット３６に出力され、また、操作パネルＰからのオペレータによる機能設定や入力操作に応じた入力制御信号は画像処理ユニット部Ａでの仕様に応じた形式にデータ変換されてから制御パネル通信ユニット３９に入力される。
本実施の形態のデジタルカラー複合機１には、外部メディア入出力装置９が搭載されており、この外部メディア入出力装置９は、ＣＰＵ３１にバス接続されている入出力デバイス制御ユニット４２によって制御される。この入出力デバイス制御ユニット４２には、各種インターフェイス（ＵＳＢ，ＳＣＳＩ等）４３が接続されており、各種インターフェイス４３を介して様々な機器（例えば、デジタルカメラ）が接続可能になっている。
The
In addition, a control
The image display control signal from the image processing unit A received by the control
The digital
図２は本発明においてユーザーの視点位置によりＬＣＤの階調補正を行なう機能を表す基本ブロック図である。図２において、ＬＣＤ５０は、図１のデジタルカラー複合機１の表示装置４０に相当し、操作パネルＰ（図１）に内蔵されている。
カメラ５１は、ＬＣＤ５０近辺に配置され、操作パネルＰの前で操作を行なうユーザーを画像として取り込み、視角取得手段５２によりユーザーの視点とＬＣＤ５０との角度を割り出し、視角を決定する。前記のユーザーの画像の取り込み動作から視角取得手段５２までの流れは、操作ボタン５７を押下する動作から始められる。
続いて、決定された視角情報に基づき、補正マトリクス５３から角度に対応したユーザーとリンクさせて、決定された視角情報は補正プロファイル５４に格納される。ＬＣＤ５０に表示される表示データは、補正プロファイル５４に格納された情報を基に画像補正手段５６により適正な階調に変換されて、ＬＣＤ５０に送られる。
ユーザーは、まず、実際に操作を行なう位置に立ち、視角位置の登録を行なう。視角位置の登録は、例えば、ＣＣＤカメラ等により計測し、ＬＣＤ５０に対してユーザーの目の位置の角度が決定・認識される。
ＣＣＤカメラ等を用いて、ユーザーの顔及び目を判別する方法は、特開２００４−１９２３７８公報などから公知の技術である。検出された目の位置からＬＣＤ５０との視角（表示面法線からの上下の角度）を計算する方法は、例えば、以下のようにする。
FIG. 2 is a basic block diagram showing the function of correcting the gradation of the LCD according to the viewpoint position of the user in the present invention. In FIG. 2, an
The
Subsequently, the determined viewing angle information is stored in the
The user first stands at the position where the operation is actually performed, and registers the viewing angle position. The registration of the viewing angle position is measured by, for example, a CCD camera, and the angle of the user's eye position is determined and recognized with respect to the
A method for discriminating a user's face and eyes using a CCD camera or the like is a technique known from Japanese Unexamined Patent Application Publication No. 2004-192378. A method for calculating the viewing angle with the LCD 50 (up and down angle from the normal to the display surface) from the detected eye position is as follows, for example.
図３は操作パネル上のＬＣＤと目の位置の左右への角度の関係を示す概略図である。図４はＬＣＤに対するユーザーの視点位置を示す概略図である。図５はカメラによる目の位置のキャプチャ画像を示す概略図である。
図３乃至図５を参照して、図３では、ＬＣＤ５０に対して正面から左右に１５度離れた位置において操作パネルＰ上のＬＣＤ５０が示されている。図４では、操作パネルＰ上のＬＣＤ５０の長さの中心にカメラ５１が配置され、ユーザー視点はカメラ５１から図４で上方にずれた位置にある。
この位置は図３の＋１５°の位置である。図４では、カメラ５１は、ＬＣＤ５０の上下方向の中心に取り付けられ、上下方向の中点に位置し、ユーザー方向を向いている。ユーザーの顔が画像に捉えられると、図５に示すように目の位置を確定し、例えば、＋１５°の位置にあるカメラ５１の中心からの距離ａを算出する。
FIG. 3 is a schematic diagram showing the relationship between the LCD on the operation panel and the left-right angle of the eye position. FIG. 4 is a schematic diagram showing a user's viewpoint position with respect to the LCD. FIG. 5 is a schematic view showing a captured image of the eye position by the camera.
Referring to FIGS. 3 to 5, FIG. 3 shows
This position is the position of + 15 ° in FIG. In FIG. 4, the
通常画面にキャプチャ（捕捉）される、目の大きさ、右目と左目との間隔などから、ＬＣＤ５０とユーザーの顔までの距離ｂも簡易的に推定することは可能である。
これから、ａ、ｂの情報より
ｔａｎθ＝ａ／ｂ
θ＝ｔａｎ−１・ａ／ｂ
θ（ユーザーの目の位置とＬＣＤ５０との視角）
を算出することができる。この視角取得の動作は、前もってユーザーが行なっておくのが望ましい。
そのようにしておくことにより、例えば、各ユーザーが作業を行なうためにログインするタイミングで、前記の補正動作をスムーズに実行できるからである。ログインは、ＩＤ、パスワードを入力する方法が一般的であるが、生体認証デバイス（指紋センサ、顔認識等）を用いることにより、迅速な作業が可能となる。
The distance b between the
From the information of a and b, tan θ = a / b
θ = tan-1 · a / b
θ (user's eye position and viewing angle with LCD 50)
Can be calculated. This viewing angle acquisition operation is preferably performed by the user in advance.
By doing so, for example, the correction operation can be smoothly executed at the timing when each user logs in to perform work. Login is generally performed by a method of inputting an ID and a password. However, by using a biometric authentication device (fingerprint sensor, face recognition, etc.), a quick operation can be performed.
図６は視覚情報と変換係数との関係を表として示す図である。図７は６４階調をもつＴＦＴ ＬＣＤの典型的な輝度比−階調特性をグラフで表す図である。
図８はユーザーと視覚情報と変換係数との関係を表として示す図である。
図７には、図３のＬＣＤ５０を正面（０°）、正面から＋１５°、−１５°それぞれの曲線とデータを表している。ＬＣＤ５０は、通常、０°付近（法線方向）から見た時に人間の感覚で、色の階調をバランス良く認識できるように設計されている。
図７のグラフから判るように、階調が０（最も暗い）から、６３（最も明るい）に変化するにつれ、対数的に輝度が上昇している。これは、人間の視覚が、暗い色より明るい色になるほど変化を認識する能力が鈍くなるのを考慮していることからである。
FIG. 6 is a table showing the relationship between visual information and conversion coefficients. FIG. 7 is a graph showing a typical luminance ratio-gradation characteristic of a TFT LCD having 64 gradations.
FIG. 8 is a table showing the relationship among users, visual information, and conversion coefficients.
FIG. 7 shows curves and data of the
As can be seen from the graph of FIG. 7, the luminance increases logarithmically as the gradation changes from 0 (darkest) to 63 (brightest). This is because it takes into account that human vision is dull in the ability to recognize changes as the color becomes brighter than the dark color.
しかし、正面から前後に視点を移動すると輝度比が０°の時と比較して同一にならず階調のバランスに大きく影響を与える。これは、ＬＣＤの液晶分子が光学的複屈折を表示するため、完全に平行又は垂直配列にならない限り、上下左右方向の視野角が均等にならないというＬＣＤの特性のためである。
このＬＣＤを例とするならば、奥（＋１５°）から見た場合は、明るい部分の階調の輝度変化がなだらかであるため、明るい系統の色の表現性が劣化し、手前（−１５°）から見た時は、暗い部分の階調の輝度変化がなだらかであるため、暗い系統の色の表現性が劣化する傾向が見られる。
これを解消するために階調変換を行なう。例えば、＋１５°の角度からユーザーが操作する際、＋１５°の画像信号の輝度比を正面の画像信号の輝度比と同等になるように変換する。
例として、＋１５°の階調３５（輝度比５３０）を表示する際には、正面の階調３５（輝度比２８０）と同等の輝度比に相当する＋１５°の階調２０（輝度比２８０）を選択する。
式で表すと、
Ｂ＝ｋ（ｉ，ｊ）・Ａ
Ａ・・・変換前の階調
Ｂ・・・変換後の階調
ｋ（ｉ，ｊ）・・・変換関数
ｉ・・・角度
ｊ・・・階調
ｋ（ｉ，ｊ）変換関数は、特定の階調値、特定の角度毎に存在し、プロファイルテーブルに記されている。またカラーを対象とするならば、ＲＧＢ、それぞれに関しても独立して上記の式を適用する。
このような階調変換方法を使用することにより、ユーザー毎に異なる背丈、立ち位置等から発生する、特に、ＬＣＤ固有の視角による階調表現の低下を補い、階調バランスの取れた表示を実現できる。
However, if the viewpoint is moved back and forth from the front, the brightness ratio is not the same as when the brightness ratio is 0 °, and the balance of gradation is greatly affected. This is because the liquid crystal molecules of the LCD display optical birefringence, so that the viewing angles in the vertical and horizontal directions are not uniform unless they are completely parallel or vertically aligned.
If this LCD is taken as an example, when viewed from the back (+ 15 °), the brightness change of the gradation of the bright part is gentle, so that the expression of the bright system color deteriorates and the front (−15 °) ), Since the luminance change of the gradation of the dark part is gentle, there is a tendency that the expression of the dark color is deteriorated.
To solve this, gradation conversion is performed. For example, when the user operates from an angle of + 15 °, the luminance ratio of the + 15 ° image signal is converted to be equal to the luminance ratio of the front image signal.
For example, when displaying a + 15 ° gradation 35 (luminance ratio 530), a + 15 ° gradation 20 (luminance ratio 280) corresponding to a luminance ratio equivalent to the front gradation 35 (luminance ratio 280). Select.
Expressed as a formula:
B = k (i, j) · A
A ... gradation B before conversion B ... gradation k (i, j) after conversion ... conversion function i ... angle j ... gradation k (i, j) It exists for each specific gradation value and specific angle, and is described in the profile table. In addition, if color is a target, the above formula is applied independently for each of RGB.
By using such a gradation conversion method, a gradation-balanced display is realized by compensating for the deterioration of gradation expression caused by the viewing angle unique to the LCD, which occurs from different heights and standing positions for each user. it can.
図９は本発明においてユーザーの視点位置によりＬＣＤの階調補正を行なう機能を表す基本ブロック図である。図１０は視覚情報と変換係数と温度補正係数との間の関係を表として示す図である。図１１は視覚情報と変換係数と経時変化補正係数との間の関係を表として示す図である。
図９において、ＬＣＤ５０は、図１のデジタルカラー複合機１の表示装置４０に相当し、操作パネルＰ（図１）に内蔵されている。カメラ５１は、ＬＣＤ５０近辺に配置され、操作パネルＰの前で操作を行なうユーザーを画像として取り込み、視角取得手段５２によりユーザーの視点とＬＣＤ５０との角度を割り出し、視角を決定する。
前記のユーザーの画像の取り込み動作から視角取得手段５２までの流れは、操作ボタン５７を押下する動作から始められる。続いて、決定された視角情報に基づき、補正マトリクス５３から角度に対応したユーザーとリンクさせて、決定された視角情報は温度センサ６２からの検出結果を加えて補正プロファイル５４に格納される。ＬＣＤ５０に表示される表示データは、補正プロファイル５４に格納された情報を基に画像補正手段５６により適正な階調に変換されて、ＬＣＤ５０に送られる。
ユーザーは、まず、実際に操作を行なう位置に立ち、視角位置の登録を行なう。視角位置の登録は、例えば、ＣＣＤカメラ等により計測し、ＬＣＤ５０に対してユーザーの目の位置の角度が決定・認識される。
ＬＣＤ５０は周囲温度により輝度が変動するデバイスであり、特に、ＳＴＮタイプやモノクロタイプのＬＣＤにてその傾向は顕著である。それに対し、補正マトリクス５３にＬＣＤ固有の温度補正値を付加することにする。
画像補正手段５６により温度補正値を加えた計算を行なうことで外気温の変化に拘わらず安定した表示をさせることが可能となる。外気温度計測手段は、例えば、一般的な温度センサで良い。
式で表すと、
Ｂ＝ｋ（ｉ，ｊ）・Ａ＋ｍ（ｔ，ｊ）
Ａ・・・変換前の階調
Ｂ・・・変換後の階調
ｋ（ｉ，ｊ）・・・変換関数
ｉ・・・角度
ｊ・・・階調
ｍ・・・温度補正値関数
ｔ・・・外気温
FIG. 9 is a basic block diagram showing the function of correcting the gradation of the LCD according to the viewpoint position of the user in the present invention. FIG. 10 is a table showing the relationship among visual information, conversion coefficients, and temperature correction coefficients. FIG. 11 is a table showing the relationship among visual information, conversion coefficients, and temporal change correction coefficients.
9, the
The flow from the user image capturing operation to the viewing
The user first stands at the position where the operation is actually performed, and registers the viewing angle position. The registration of the viewing angle position is measured by, for example, a CCD camera, and the angle of the user's eye position is determined and recognized with respect to the
The
By performing the calculation with the temperature correction value added by the image correction means 56, it becomes possible to display stably regardless of the change in the outside air temperature. The outside temperature measuring means may be a general temperature sensor, for example.
Expressed as a formula:
B = k (i, j) · A + m (t, j)
A: gradation B before conversion B: gradation k (i, j) after conversion: conversion function i angle j: gradation m: temperature correction value function t · ··Outside temperature
ＳＴＮタイプやモノクロタイプのような外気温度による階調特性の変化が大きい液晶表示パネルに対しては、一定の補正プロファイルでは低温時や高温時で正しく補正がなされない。しかし、外気温度により最適な補正プロファイルが選択されるため、ユーザーの使用温度環境に拠らず安定した視覚補正が得られる。
また、ＬＣＤ５０の経時変化も輝度に影響を与えることは否めず、一般的には輝度低下が発生する。それに対し、補正マトリクス５３にＬＣＤ固有の経時変化量補正値を付加することにする。
前記画像補正手段５６により経時変化量補正値を加えた計算を行なうことで経時変化に伴う輝度低下の影響を防ぎ安定した表示をさせることが可能となる。
For a liquid crystal display panel such as STN type or monochrome type that has a large change in gradation characteristics due to outside air temperature, correct correction is not performed at low or high temperatures with a fixed correction profile. However, since an optimal correction profile is selected according to the outside air temperature, stable visual correction can be obtained regardless of the user's operating temperature environment.
In addition, it cannot be denied that changes over time of the
By performing the calculation with the time-dependent change correction value added by the
ＬＣＤ５０の稼働時間は、例えば、内蔵タイマによりシステムＯｎ状態計測は容易に行なうことはできる。
液晶表示パネルの経時変化に対する階調特性変化を考慮し、長期間使用しても一定の補正プロファイルで正しい補正がなされる必要がある。本発明によれば、経時変化に伴う、液晶表示パネルの表示特性変化に依らず、安定した視角補正が得られる。
式で表すと、
Ｂ＝ｋ（ｉ，ｊ）・Ａ＋ｎ（ｓ，ｊ）
Ａ・・・変換前の階調
Ｂ・・・変換後の階調
ｋ（ｉ，ｊ）・・・変換関数
ｉ・・・角度 ｊ・・・階調
ｎ・・・経時変化補正関数
ｓ・・ＬＣＤの稼働時間
本発明の実施の形態によれば、外気温度により、最適な補正プロファイルが選択されるため、ユーザーの使用温度環境に依らず、安定した視角補正が得られるという作用を有する。
As for the operating time of the
In consideration of the change in gradation characteristics with time of the liquid crystal display panel, correct correction must be performed with a fixed correction profile even when used for a long time. According to the present invention, stable viewing angle correction can be obtained regardless of a change in display characteristics of a liquid crystal display panel accompanying a change with time.
Expressed as a formula:
B = k (i, j) .A + n (s, j)
A ... gradation B before conversion B ... gradation k (i, j) after conversion ... conversion function i ... angle j ... gradation n ... temporal change correction function s. -LCD operating time According to the embodiment of the present invention, since an optimal correction profile is selected according to the outside air temperature, there is an effect that stable viewing angle correction can be obtained regardless of the use temperature environment of the user.
図１２は本発明においてユーザーの視点位置によりＬＣＤの階調補正を行なう機能を表す基本ブロック図である。ユーザーの視角は、立ち位置が変わった時には当然変化する。ユーザーの視角変化が或る一定量行なわれたことを検出する視角変化検出手段６１により、前記画像補正を実施する。
図１２において、ＬＣＤ５０は、図１のデジタルカラー複合機１の表示装置４０に相当し、操作パネルＰ（図１）に内蔵されている。階調変換の原理の１例を以下に説明する。
カメラ５１は、ＬＣＤ５０近辺に配置され、操作パネルＰの前で操作を行なうユーザーを画像として取り込み、視角取得手段５２によりユーザーの視点とＬＣＤ５０との角度を割り出し、視角を決定する。前記のユーザーの画像の取り込み動作から視角取得手段５２までの流れは、操作ボタン５７を押下する動作から始められる。
続いて、決定された視角情報に基づき、補正マトリクス５３から角度に対応したユーザーとリンクさせて、決定された視角情報は視覚変化検出手段６１からの検出結果を加えて補正プロファイル５４に格納される。ＬＣＤ５０に表示される表示データ５５は、補正プロファイル５４に格納された情報を基に画像補正手段５６により適正な階調に変換されて、ＬＣＤ５０に送られる。
ユーザーは、まず、実際に操作を行なう位置に立ち、視角位置の登録を行なう。視角位置の登録は、例えば、ＣＣＤカメラ等により計測し、ＬＣＤ５０に対してユーザーの目の位置の角度が決定・認識される。
FIG. 12 is a basic block diagram showing the function of correcting the gradation of the LCD according to the viewpoint position of the user in the present invention. The viewing angle of the user naturally changes when the standing position changes. The image correction is performed by the visual angle change detecting means 61 that detects that the visual angle change of the user has been performed by a certain amount.
In FIG. 12, an
The
Subsequently, the determined viewing angle information is linked to the user corresponding to the angle from the
The user first stands at the position where the operation is actually performed, and registers the viewing angle position. The registration of the viewing angle position is measured by, for example, a CCD camera, and the angle of the user's eye position is determined and recognized with respect to the
図１３はユーザーの目の位置の角度を決定・認識する流れを説明するフローチャートである。図１３において、ユーザーがデジタルカラー複合機１（図１）の使用を開始する（Ｓ１）。次いで、ユーザーの目の位置をキャプチャ（捕捉）する（Ｓ２）。
次に、補正プロファイル（初期値）を生成する（Ｓ３）。続いて、ユーザーの目の位置をキャプチャ（捕捉）する（Ｓ４）。視点位置が５°以上変化しているかどうかを判断する（Ｓ５）。５°以上変化しているならば、補正プロファイルを再び生成し（Ｓ６）、終了する。
前出の視点位置の登録手順中で、目の位置のキャプチャを最初の１回だけでなく一定周期で実施する。本実施の形態では、ユーザーの視角が登録された値より５°以上差が見られた時に、目の位置のキャプチャを再度行ない、計測した視角を補正プロファイルに再度書き込む。
更新された補正プロファイルを基に画像補正を行なう。この動作を継続することにより、ユーザーが立ち位置が変化した時にも、ユーザー視角変化に追従し、適正な補正が可能となる。
FIG. 13 is a flowchart for explaining the flow of determining and recognizing the angle of the user's eye position. In FIG. 13, the user starts using the digital color multifunction peripheral 1 (FIG. 1) (S1). Next, the position of the user's eyes is captured (captured) (S2).
Next, a correction profile (initial value) is generated (S3). Subsequently, the position of the user's eyes is captured (S4). It is determined whether the viewpoint position has changed by 5 ° or more (S5). If it has changed by 5 ° or more, a correction profile is generated again (S6), and the process ends.
In the above viewpoint position registration procedure, the eye position is captured not only at the first time but also at a fixed period. In this embodiment, when the user's viewing angle is more than 5 ° from the registered value, the eye position is captured again, and the measured viewing angle is rewritten in the correction profile.
Image correction is performed based on the updated correction profile. By continuing this operation, even when the user changes the standing position, it is possible to follow the change in the user viewing angle and perform appropriate correction.
図１４はＬＣＤ画面を縦方向に３分割して概略図である。図１５は図１４の分割に対応付けたマトリクスを表として示す図である。図１６はユーザーと視覚情報と変換係数との関係を表として示す図である。
この実施の形態では、ＬＣＤ画面を縦方向に、上側領域、正面領域、及び下側領域の３つに分割して３つの視角としているが、これに限定されるものではなく、より細かい領域に分割することも可能である。図１５のマトリクスの上側領域、正面領域、及び下側領域は図１４の３つの上側領域、正面領域、及び下側領域に対応する。
この実施の形態では、前記視角取得手段５２（図１２）にて視角を決定後、補正マトリクス５３は図１４のＬＣＤ画面の領域毎にそれぞれ選択され、前記画像補正手段５６に供給され、画像補正が行なわれる。このような方法でＬＣＤ画面の領域毎に適正な画像補正が可能となる。液晶パネル画面上下における階調特性のバラツキの補正が可能となる。
ユーザーが視角位置を予め測定し、補正プロファイル５６の生成が行なわれる。その際、ユーザー認証のために顔のデータも前記補正プロファイル５６に登録を行なう。例えば、補正プロファイルは図１６のようになる。その後、ユーザーが作業する際にカメラにてユーザーを自動判別し、一連の画像補正作業を行なう。
カメラを視角測定用途だけでなく、ユーザー認証用途に使うことでスムーズな画像補正操作が可能となる。ユーザーが視角を取得するのに行なう動作の手段に指紋センサ、顔認識等の生体認証デバイスを使用することで余分な動作が軽減でき、使い易さが向上できるという作用を有している。
FIG. 14 is a schematic view of the LCD screen divided into three in the vertical direction. FIG. 15 is a diagram showing a matrix associated with the division of FIG. 14 as a table. FIG. 16 is a table showing the relationship among users, visual information, and conversion coefficients.
In this embodiment, the LCD screen is divided into three viewing angles by dividing the LCD screen vertically into an upper region, a front region, and a lower region. It is also possible to divide. The upper area, the front area, and the lower area of the matrix in FIG. 15 correspond to the three upper areas, the front area, and the lower area in FIG.
In this embodiment, after the viewing angle is determined by the viewing angle acquisition means 52 (FIG. 12), the
The user measures the viewing angle position in advance, and the
By using the camera not only for viewing angle measurement but also for user authentication, smooth image correction can be performed. By using a biometric authentication device such as a fingerprint sensor or face recognition as a means of operation performed by the user to obtain the viewing angle, an extra operation can be reduced and the usability can be improved.
１ 画像処理装置（デジタルカラー複合機）、７ 印刷装置、８ 画像読み取り装置、９ 外部メディア入出力装置、４０ 表示装置、５０ ＬＣＤ（液晶ディスプレイ）、５１ カメラ、５２ 視角取得手段、５３ 補正マトリクス、５４ 補正プロファイル、５５ 表示データ、５６ 画像補正手段、６１ 視覚変化検出手段、６２ 温度計測手段（温度センサ）、Ａ 画像処理ユニット部、Ｂ 情報処理ユニット部、Ｐ 操作部（液晶表示パネル）
DESCRIPTION OF
Claims (6)
ユーザーの液晶表示パネルに対する視角を取得する視角取得手段と、
複数の視角に対応して、輝度の補正値が予め設定された補正マトリクスと、
前記視角取得手段により取得された視角に対応する輝度を、前記ユーザーに関連付けて保存する補正プロファイルと、前記ユーザーによる視角取得動作の実施により、前記補正プロファイルを用いて表示画像に対して補正を行う画像補正手段と、を有することを特徴とする画像処理装置。 In an image processing apparatus comprising: an image processing unit including a printing apparatus and an image reading apparatus; and an information processing unit including an operation unit having a liquid crystal display panel.
Viewing angle acquisition means for acquiring a viewing angle of the user with respect to the liquid crystal display panel;
A correction matrix in which brightness correction values are set in advance corresponding to a plurality of viewing angles;
The correction corresponding to the viewing angle acquired by the viewing angle acquisition means is stored in association with the user, and the display image is corrected using the correction profile by performing the viewing angle acquisition operation by the user. And an image correction means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007303631A JP2009130640A (en) | 2007-11-22 | 2007-11-22 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007303631A JP2009130640A (en) | 2007-11-22 | 2007-11-22 | Image processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009130640A true JP2009130640A (en) | 2009-06-11 |
Family
ID=40821119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007303631A Pending JP2009130640A (en) | 2007-11-22 | 2007-11-22 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009130640A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010149414A (en) * | 2008-12-25 | 2010-07-08 | Kyocera Mita Corp | Electronic equipment |
| US8780364B2 (en) | 2011-02-09 | 2014-07-15 | Ricoh Company, Ltd. | Electronic apparatus and information displaying method |
| JP2015103002A (en) * | 2013-11-25 | 2015-06-04 | 三洋電機株式会社 | Information communication terminal device |
| CN104933977A (en) * | 2015-06-29 | 2015-09-23 | 上海中航光电子有限公司 | Image display system |
| WO2016152637A1 (en) * | 2015-03-20 | 2016-09-29 | アルプス電気株式会社 | Image display device |
| CN106896660A (en) * | 2015-10-30 | 2017-06-27 | 京瓷办公信息***株式会社 | Image processing system |
| CN109326246A (en) * | 2018-11-29 | 2019-02-12 | 云谷（固安）科技有限公司 | Control the method and system of display device |
| WO2024061167A1 (en) * | 2022-09-22 | 2024-03-28 | 京东方科技集团股份有限公司 | Image-sticking detection method and image-sticking detection apparatus for display panel |
-
2007
- 2007-11-22 JP JP2007303631A patent/JP2009130640A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010149414A (en) * | 2008-12-25 | 2010-07-08 | Kyocera Mita Corp | Electronic equipment |
| US8780364B2 (en) | 2011-02-09 | 2014-07-15 | Ricoh Company, Ltd. | Electronic apparatus and information displaying method |
| JP2015103002A (en) * | 2013-11-25 | 2015-06-04 | 三洋電機株式会社 | Information communication terminal device |
| WO2016152637A1 (en) * | 2015-03-20 | 2016-09-29 | アルプス電気株式会社 | Image display device |
| JPWO2016152637A1 (en) * | 2015-03-20 | 2017-09-28 | アルプス電気株式会社 | Image display device |
| CN104933977A (en) * | 2015-06-29 | 2015-09-23 | 上海中航光电子有限公司 | Image display system |
| CN104933977B (en) * | 2015-06-29 | 2017-10-24 | 上海中航光电子有限公司 | A kind of image display system |
| CN106896660A (en) * | 2015-10-30 | 2017-06-27 | 京瓷办公信息***株式会社 | Image processing system |
| CN109326246A (en) * | 2018-11-29 | 2019-02-12 | 云谷（固安）科技有限公司 | Control the method and system of display device |
| WO2024061167A1 (en) * | 2022-09-22 | 2024-03-28 | 京东方科技集团股份有限公司 | Image-sticking detection method and image-sticking detection apparatus for display panel |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009130640A (en) | Image processing device | |
| US7623105B2 (en) | Liquid crystal display with adaptive color | |
| JP5187139B2 (en) | Image processing apparatus and program | |
| US8427476B2 (en) | System and method for automatically adjusting visual setting of display device | |
| KR100710946B1 (en) | Image processing system, projector, and image processing method | |
| US8625019B2 (en) | Image processing and displaying apparatus, control method, and program for displaying a predetermined image | |
| EP2515521A1 (en) | Image Compensation Device, Image Processing Apparatus And Methods Thereof | |
| US7554688B2 (en) | Method and apparatus for printing image using memory card | |
| US20050063009A1 (en) | Information processing apparatus, and computer product | |
| JP7210872B2 (en) | Image processing device and image processing program | |
| JP2004140736A (en) | Image pickup device | |
| US20110102632A1 (en) | Image pick-up apparatus, white balance setting method and recording medium | |
| JP4645455B2 (en) | Image projection apparatus, projection image correction method, and program | |
| US9473670B2 (en) | Peripheral with image processing function | |
| JP5371135B2 (en) | Luminance correction apparatus, luminance correction system, and luminance correction method | |
| US20070146383A1 (en) | Color uniformity system | |
| JP4713374B2 (en) | Image forming apparatus | |
| US20080094648A1 (en) | Raw data processing apparatus and raw data processing method | |
| JP4821142B2 (en) | Image processing system | |
| US8134731B2 (en) | Printing device that prioritizes processing of raw and JPEG data according to amount of print data in standby state | |
| US20080111926A1 (en) | Projection system and adjusting method thereof | |
| US7944592B2 (en) | Image capture device | |
| JP2019008063A (en) | Information processor, management device, method for information processing, and program | |
| JP2004199489A (en) | Image forming device | |
| JP2012015700A (en) | Document reading device and image formation device |