JP2017069713A - Display control device, control method of the same, and display control program - Google Patents
Display control device, control method of the same, and display control program Download PDFInfo
- Publication number
- JP2017069713A JP2017069713A JP2015192098A JP2015192098A JP2017069713A JP 2017069713 A JP2017069713 A JP 2017069713A JP 2015192098 A JP2015192098 A JP 2015192098A JP 2015192098 A JP2015192098 A JP 2015192098A JP 2017069713 A JP2017069713 A JP 2017069713A
- Authority
- JP
- Japan
- Prior art keywords
- transfer
- image
- display control
- unit
- upper limit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、表示制御装置等に関する。 The present invention relates to a display control device and the like.
動画の表示において、動画を構成する複数の画像のうち、少なくとも１フレーム分の画像が表示されない（描画更新要求に対する描画がなされない）所謂コマ落ちという現象が発生することがある。コマ落ちしたフレーム（画像データ）が多くなると、当該画像データが表示されないので、表示が固まった状態になってしまう。そのため、従来から、コマ落ちの発生を抑制する技術が開発されている。当該技術の一例としては、特許文献１に記載の発明が挙げられる。
When displaying a moving image, a so-called frame drop phenomenon may occur in which at least one frame image among a plurality of images constituting the moving image is not displayed (drawing in response to a drawing update request is not performed). When the number of dropped frames (image data) increases, the image data is not displayed, and the display becomes solid. For this reason, techniques for suppressing the occurrence of dropped frames have been developed. As an example of the technique, the invention described in
特許文献１の再生装置では、取得したメインプロセッサの能力に応じて設定された条件を満たしている場合には６０ＦＰＳ（frame per second）の動画データがＧＰＵ（Graphics Processor Unit）に出力される。一方、当該条件を満たしていない場合には３０ＦＰＳの動画データがＧＰＵに出力される。
In the playback device of
しかしながら、特許文献１の再生装置は、コマ落ちの発生を監視することによって、メインプロセッサの能力を調整するものではない。
However, the playback device of
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、コマ落ちの発生頻度に応じて制御装置のパフォーマンスレベルの調整することが可能な表示制御装置を実現することにある。 The present invention has been made in view of the above-described problems, and an object thereof is to realize a display control device capable of adjusting the performance level of the control device in accordance with the occurrence frequency of frame dropping. .
上記の課題を解決するために、本発明の一態様に係る表示制御装置は、表示パネルに表示される画像の表示制御を行う表示制御装置であって、上記表示パネルに表示される１フレーム分の画像の更新要求である描画更新要求に対する、当該表示パネルへの当該画像を示す画像データの転送が終了したか否かを判定する転送終了判定部と、上記転送終了判定部によって上記転送が終了したと判定されなかった回数を計数する計数部と、上記計数部によって計数された所定期間内の上記回数に基づいて、上記表示制御装置を含む装置の各種処理を制御する制御装置のパフォーマンスレベルの上限値を制御するレベル制御部と、を備える。 In order to solve the above problems, a display control device according to one embodiment of the present invention is a display control device that performs display control of an image displayed on a display panel, and is for one frame displayed on the display panel. In response to a drawing update request that is an image update request, a transfer end determination unit that determines whether transfer of image data indicating the image to the display panel has ended, and the transfer ends by the transfer end determination unit A counting unit that counts the number of times that it has not been determined, and a performance level of a control device that controls various processes of the device including the display control device based on the number of times within a predetermined period counted by the counting unit. A level control unit for controlling the upper limit value.
本発明の一態様によれば、コマ落ちの発生頻度に応じて制御装置のパフォーマンスレベルを調整することができるという効果を奏する。 According to one aspect of the present invention, there is an effect that the performance level of the control device can be adjusted according to the occurrence frequency of frame dropping.
〔実施形態１〕
以下、本発明の実施の形態において、図１〜図５に基づいて説明すれば、以下のとおりである。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
＜表示装置１の概略構成＞
図２を用いて、表示装置１の概略構成について説明する。図２は、本実施形態の表示装置１の構成を示すブロック図である。図２に示すように、表示装置１は、ホスト１０（表示制御装置）、液晶モジュール２０及び通信接続部３０を備えている。ここでは、表示装置１が携帯端末である場合を例に挙げて説明するが、これに限らず、表示装置１は、設置型の表示装置であってもよい。
<Schematic configuration of
A schematic configuration of the
ホスト１０は、液晶パネル２１（表示パネル）の表示動作を制御するものであり、アプリケーション実行部１１、表示ドライバ１２、画像処理・出力ＨＷ（hardware）１３、パフォーマンス制御部１４及びクロック・電圧制御部１５を備えている。
The
アプリケーション実行部１１は、携帯端末で動作する各種のアプリケーションを実行することで、画像データを生成する。また、アプリケーション実行部１１は、生成した画像データが示す画像の更新要求である描画更新要求を発行し、表示ドライバ１２に送信する。ここで、特に言及のない限り、画像データとは、液晶パネル２１に表示する１フレーム分の画像のデータを意味する。
The
表示ドライバ１２は、液晶パネル２１に表示される画像の表示制御を行う。具体的には、表示ドライバ１２は、アプリケーション実行部１１から描画更新要求を受信すると、液晶ドライバ２２への画像データの転送開始の指示である画像転送開始指示を画像処理・出力ＨＷ１３に送信する。また、表示ドライバ１２は、描画更新要求に対する液晶パネル２１への画像データの転送が終了したことを示す転送終了割り込みを画像処理・出力ＨＷ１３から受信する。表示ドライバ１２は、この転送終了割り込みの受信を確認することにより、上記画像転送開始指示を画像処理・出力ＨＷ１３に送信する。
The
また、表示ドライバ１２は、Vsync（垂直同期信号）割り込み（ＴＥ信号；転送タイミング信号）を液晶ドライバ２２から受信する。Vsync割り込みとは、液晶ドライバ２２がホスト１０に次のフレームの画像データの転送開始を指示する信号である。表示ドライバ１２は、Vsync割り込みを受信するたびにコマ落ちが発生しているか否かを判定し、その判定結果に応じて、ＣＰＵ（Central Processing Unit）のパフォーマンスレベルの変更を指示するためのパフォーマンス変更指示（Ｑｏｓ（Quality of service）信号）をパフォーマンス制御部１４に送信する。ＣＰＵのパフォーマンスとは、ＣＰＵに設定されるクロック周波数および電圧値等の、ＣＰＵの処理能力（処理速度）に関連したパラメータである。
Further, the
パフォーマンス制御部１４は、表示ドライバ１２から受信したパフォーマンス変更指示に従って、ＣＰＵのパフォーマンスレベルの上限値を制御する。この制御には、パフォーマンスレベルの上限値を上げる処理、または下げる処理が含まれる。パフォーマンス制御部１４は、パフォーマンス変更指示に従って決定したパフォーマンスレベルの上限値を示すパフォーマンス制御指示をクロック・電圧制御部１５に送信する。
The
また、ホスト１０の画像処理・出力ＨＷ１３及びクロック・電圧制御部１５は、集積回路（ＩＣチップ）等に形成された電子回路（ハードウェア）によって実現される。画像処理・出力ＨＷ１３及びクロック・電圧制御部１５は、ＣＰＵの制御を受けて動作する。
The image processing /
画像処理・出力ＨＷ１３は、画像データを通信接続部３０を介して液晶ドライバ２２に転送（送信）する。具体的には、画像処理・出力ＨＷ１３は、表示ドライバ１２から画像転送開始指示を受信している場合には、液晶ドライバ２２からVsync割り込みを受信したタイミングで、画像データを液晶ドライバ２２に送信する。このタイミングで画像データを送信することにより、液晶パネル２１におけるティアリングの発生を抑制できる。また、画像処理・出力ＨＷ１３は、液晶ドライバ２２への画像データの転送が終了したタイミングで、転送終了割り込みを表示ドライバ１２に送信する。
The image processing /
クロック・電圧制御部１５は、ＣＰＵのパフォーマンスレベルを制御する。具体的には、クロック・電圧制御部１５は、ＣＰＵに現在設定されているパフォーマンスレベルの上限値を、パフォーマンス制御部１４から受信したパフォーマンス制御指示が示すパフォーマンスレベルの上限値に変更する。また、クロック・電圧制御部１５は、表示装置１が備える他のハードウェアのパフォーマンスレベル（当該ハードウェアに設定されているクロック周波数、電圧値等の大きさ）を制御する。
The clock /
液晶モジュール２０は、ホスト１０から転送された画像データが示す画像を表示する。液晶モジュール２０は、液晶パネル２１及び液晶ドライバ２２を備えている。液晶パネル２１及び液晶ドライバ２２は、互いに物理的に接続されている。
The
液晶パネル２１は、複数の画素を備え、画像データ及び駆動信号に基づき、画像データが示す画像を表示する。液晶パネル２１の代わりに、有機ＥＬ（electroluminescence）ディスプレイ、プラズマディスプレイ等が用いられてもよい。
The
液晶ドライバ２２は、液晶パネル２１の表示動作を制御するものであり、ホスト１０から受信した画像データと共に、液晶パネル２１を駆動するための駆動信号（例えば、ソース信号、ゲート信号等）を液晶パネル２１に供給するチップである。具体的には、液晶ドライバ２２は、不図示のフレームメモリ及びＴＧ（タイミングジェネレータ）等を備える。フレームメモリは、例えば、１フレームの画像データを格納することができるＶＲＡＭ（video random access memory）である。受け取った画像はフレームメモリに書き込まれる。そして、ＴＧが指示するタイミングに従って、フレームメモリから画像データが読み出され、液晶パネル２１に出力される。ＴＧは、上記駆動信号を生成し、液晶パネル２１に供給すると共に、液晶パネル２１の駆動タイミングに合わせて、フレームメモリから画像データを読み出すタイミングを決定する。また、ＴＧは、Vsync割り込みを生成し、ホスト１０に送信する。
The
通信接続部３０は、ホスト１０と液晶モジュール２０とを接続するための、伝送線路（transmission lines）を備える。伝送線路は、信号を転送するためのライン（配線または光ファイバ等）である。通信接続部３０は、例えば、ＭＩＰＩ（登録商標、Mobile Industry Processor Interface）規格に適合した通信インターフェースである。ただし、通信インターフェースの仕様はこれに限らず、通信接続部３０が伝送線路を備えていればよい。すなわち、通信接続部３０は、少なくとも、画像処理・出力ＨＷ１３から画像データを液晶ドライバ２２に送信できると共に、液晶ドライバ２２からVsync割り込みを画像処理・出力ＨＷ１３及び表示ドライバ１２に送信できればよい。
The communication connection unit 30 includes transmission lines for connecting the
＜表示ドライバ１２の詳細構成＞
図１は、本実施形態の表示ドライバを示すブロック図である。表示ドライバ１２は、画像転送指示部３１、転送終了判定部３２、発生回数計数部３３、発生回数比較部３４及びレベル制御部３５を備えている。
<Detailed Configuration of
FIG. 1 is a block diagram showing the display driver of this embodiment. The
画像転送指示部３１は、アプリケーション実行部１１が生成した画像データの、画像処理・出力ＨＷ１３への転送を制御する。具体的には、画像転送指示部３１は、アプリケーション実行部１１から描画更新要求を受信すると、画像転送開始指示を画像処理・出力ＨＷ１３に送信する。但し、画像転送指示部３１は、割り込み計数部４２が転送終了割り込みを受信したことを示す割り込み完了通知を受信することで、前回の描画更新要求に対する液晶ドライバ２２への転送処理が完了していると判定できた場合のみ、画像転送開始指示を送信する。また、画像転送指示部３１は、描画更新要求を受信するたびに、描画更新要求を取得したことを示す要求取得通知を転送終了判定部３２（具体的には、要求計数部４１）に送信する。
The image transfer instruction unit 31 controls the transfer of the image data generated by the
転送終了判定部３２は、描画更新要求に対する、液晶パネル２１への画像データの転送が終了したか否かを判定するものであり、要求計数部４１、割り込み計数部４２及びコマ落ち判定部４３を備えている。
The transfer
要求計数部４１は、画像転送指示部３１がアプリケーション実行部１１から取得する描画更新要求の回数である描画要求受付数を計数する。本実施形態では、要求計数部４１は、画像転送指示部３１から要求取得通知を受信するたびにその回数を計数することで、描画要求受付数を計数する。要求計数部４１は、当該回数を要求計数データとしてコマ落ち判定部４３に送信する。
The request counting unit 41 counts the number of drawing request receptions that is the number of drawing update requests acquired by the image transfer instruction unit 31 from the
割り込み計数部４２は、画像処理・出力ＨＷ１３から取得した転送終了割り込みの回数を、画像処理・出力ＨＷ１３から液晶ドライバ２２への画像データの転送が完了した回数である画像転送完了数として計数する。割り込み計数部４２は、当該回数を割り込み計数データとしてコマ落ち判定部４３に送信する。
The interrupt counting unit 42 counts the number of transfer end interrupts acquired from the image processing /
コマ落ち判定部４３は、Vsync割り込みのタイミングで、描画要求受付数と画像転送完了数との比較結果に基づいて、液晶パネル２１への画像データの転送が終了したか否かを判定することにより、所謂コマ落ちが発生したか否かを判定する。具体的には、コマ落ち判定部４３は、Vsync割り込みのタイミングで、描画要求受付数が画像転送完了数よりも２以上多くなった場合（すなわち、描画要求受付数−画像転送完了数≧２の場合）に、コマ落ちが発生したと判定する。コマ落ち判定部４３は、コマ落ちが発生したと判定した場合には、コマ落ちが発生したことを示すコマ落ち発生通知を発生回数計数部３３に送信する。コマ落ち判定部４３は、コマ落ちが発生するたびに、コマ落ち発生通知を発生回数計数部３３に送信する。
The frame drop determination unit 43 determines whether or not the transfer of the image data to the
なお、本実施形態では、描画要求受付数−画像転送完了数≧２の場合にコマ落ちが発生したと判定するが、これに限らず、描画要求受付数−画像転送完了数≧所定数（所定数は３以上）となった場合にコマ落ちが発生したと判定してもよい。但し、コマ落ちの発生を精度良く検出することを考慮すれば、描画要求受付数−画像転送完了数≧２の場合にコマ落ちが発生したと判定することが好ましい。 In the present embodiment, it is determined that frame dropping has occurred when the number of drawing request receptions−the number of image transfer completions ≧ 2. However, the present invention is not limited to this, and the number of drawing request receptions−the number of image transfer completions ≧ a predetermined number (predetermined) It may be determined that frame dropping has occurred when the number is 3 or more. However, in consideration of accurately detecting the occurrence of frame dropping, it is preferable to determine that frame dropping has occurred when the number of drawing requests received−the number of image transfer completions ≧ 2.
発生回数計数部３３は、転送終了判定部３２によって液晶ドライバ２２への画像データの転送が終了したと判定されなかった回数（すなわち、コマ落ちの発生回数）を計数する。本実施形態では、発生回数計数部３３は、所定期間内に、コマ落ち判定部４３からコマ落ち発生通知を受信した回数を上記発生回数として計数する。発生回数計数部３３は、所定期間内に計数された上記発生回数を示す回数データを発生回数比較部３４に送信する。
The occurrence count counting unit 33 counts the number of times that the transfer
発生回数計数部３３は、コマ落ち判定部４３の検出結果を受けて、コマ落ちが発生した時刻を示す時刻情報を時系列に記録していく。発生回数比較部３４は、Vsync割り込みが入力されたタイミングで、毎回図４に示すフロー（Ｓ２、Ｓ６、Ｓ１０の処理）を実行する。第１所定期間、第２所定期間および第３所定期間の３つの所定期間が予め設定されており、発生回数比較部３４は、現在（例えば、Vsync割り込みが入力されたタイミング）から第１所定期間前までのコマ落ち回数、現在から第２所定期間前までのコマ落ち回数、および現在から第３所定期間前までのコマ落ち回数を、発生回数計数部３３による時刻情報の記録から算出する。本実施形態では、第１所定期間は３０ｍｓ、第２所定期間は５００ｍｓ、第３所定期間は３０００ｍｓに設定されているが、これに限らず、任意の期間を設定できる。 The occurrence count counting unit 33 receives the detection result of the frame drop determination unit 43 and records time information indicating the time when the frame drop occurs in time series. The occurrence count comparison unit 34 executes the flow shown in FIG. 4 (processing of S2, S6, and S10) every time the Vsync interrupt is input. Three predetermined periods, a first predetermined period, a second predetermined period, and a third predetermined period, are set in advance, and the occurrence count comparison unit 34 performs the first predetermined period from the present (for example, the timing at which the Vsync interrupt is input). The number of dropped frames from the previous time, the number of dropped frames from the present to the second predetermined period before, and the number of dropped frames from the present to the third predetermined period before are calculated from the time information recording by the occurrence number counting unit 33. In the present embodiment, the first predetermined period is set to 30 ms, the second predetermined period is set to 500 ms, and the third predetermined period is set to 3000 ms. However, the present invention is not limited to this, and an arbitrary period can be set.
第１所定期間は、ある程度（一般に表示品位が低下すると推定される程度）の発生頻度でコマ落ちが発生しているときのコマ落ちの発生回数を計数する期間である。第１所定期間は、コマ落ちの発生頻度を抑制するための処理を随時行うことができるよう、第２所定期間及び第３所定期間より短期間であることが好ましい。 The first predetermined period is a period in which the number of dropped frames is counted when dropped frames occur with a certain occurrence frequency (generally estimated to reduce display quality). The first predetermined period is preferably shorter than the second predetermined period and the third predetermined period so that processing for suppressing the occurrence frequency of frame dropping can be performed at any time.
第２所定期間は、第１所定期間で所定回数のコマ落ちが発生している場合に、そのコマ落ちの発生頻度が継続した状態で（または大きくなった状態で）、第１所定期間よりも長期間に亘ってコマ落ちが発生しているかどうかを確認する期間である。そのため、第２所定期間は、第１所定期間よりも長く設定されていることが好ましい。 In the second predetermined period, when a predetermined number of frame drops have occurred in the first predetermined period, in a state where the occurrence frequency of the frame drop continues (or in a state where it has increased), the second predetermined period is longer than the first predetermined period. This is a period for checking whether or not frame dropping has occurred over a long period of time. Therefore, it is preferable that the second predetermined period is set longer than the first predetermined period.
すなわち、第１所定期間は、短期間に小さいレベルのコマ落ち（表示品位の低下の度合いが小さいコマ落ち）が発生しているかどうかを確認するための期間であり、第２所定期間は、長期間に重大なレベルの激しいコマ落ち（表示品位の低下の度合いが長期間に亘り大きいコマ落ち）が発生しているかどうかを確認するための期間である。 That is, the first predetermined period is a period for confirming whether or not a small level of frame drop (a frame drop with a small degree of display quality deterioration) has occurred in a short period of time. The second predetermined period is a long period of time. This is a period for confirming whether or not a serious dropout of a significant level has occurred during the period (a dropout of the display quality is large over a long period).
第３所定期間は、第２所定期間後のパフォーマンスレベルの上限値の制御により、コマ落ちの発生頻度が低下したかどうかを確認するための期間である。そのため、少なくとも第１所定期間よりも長い期間が設定されていることが好ましく、第２所定期間と同等の長さに設定されていればよい。 The third predetermined period is a period for confirming whether or not the drop-off frequency has decreased due to the control of the upper limit value of the performance level after the second predetermined period. Therefore, it is preferable that a period longer than at least the first predetermined period is set, and it is only necessary to set the length equal to the second predetermined period.
発生回数比較部３４は、発生回数計数部３３から受信した回数データが示す、所定期間内のコマ落ちの発生回数を、所定回数と比較する。発生回数比較部３４は、当該発生回数が所定回数以上であると判定した場合に、その判定結果を、レベル制御部３５に送信する。 The occurrence frequency comparison unit 34 compares the occurrence frequency of frame dropping within a predetermined period indicated by the frequency data received from the occurrence frequency counting unit 33 with the predetermined number of times. When the occurrence number comparison unit 34 determines that the occurrence number is equal to or greater than a predetermined number, the occurrence number comparison unit 34 transmits the determination result to the level control unit 35.
第１所定期間におけるコマ落ちの発生回数は所定回数としての第１所定回数と比較され、第２所定期間におけるコマ落ちの発生回数は所定回数としての第２所定回数と比較され、第３所定期間におけるコマ落ちの発生回数は所定回数としての第３所定回数と比較される。本実施形態では、第１所定回数は２回、第２所定回数は５０回、第３所定期間は３００回に設定されているが、これに限らず、任意の期間を設定できる。上述した第１、第２及び第３所定期間の長さにあわせて、各所定期間におけるコマ落ちの発生頻度が確認できる程度の回数に設定されていればよい。例えば、第２所定回数は第１所定回数より多い回数が設定される。 The number of dropped frames in the first predetermined period is compared with the first predetermined number as the predetermined number, the number of dropped frames in the second predetermined period is compared with the second predetermined number as the predetermined number, and the third predetermined period. The number of dropped frames in is compared with a third predetermined number of times. In the present embodiment, the first predetermined number of times is set to 2, the second predetermined number of times is set to 50 times, and the third predetermined period is set to 300 times. However, the present invention is not limited to this, and an arbitrary period can be set. According to the length of the first, second, and third predetermined periods described above, the number of frames may be set to a number that allows the occurrence frequency of frame dropping in each predetermined period to be confirmed. For example, the second predetermined number is set to be larger than the first predetermined number.
レベル制御部３５は、発生回数計数部３３によって計数された所定期間内のコマ落ちの発生回数に基づいて、パフォーマンス変更指示をパフォーマンス制御部１４に送信することで、パフォーマンスレベルの上限値を制御する。レベル制御部３５におけるパフォーマンスレベルの上限値の変更制御については、図４および図５を用いて後述する。
The level control unit 35 controls the upper limit value of the performance level by transmitting a performance change instruction to the
＜コマ落ち検出方法＞
次に、図３に基づいて、コマ落ち検出方法の一例について説明する。図３は、表示ドライバ１２におけるコマ落ち検出方法を説明するための図である。なお、Vsync割り込みの発行間隔（受信間隔）は、画像のフレームレートが１２０ＦＰＳの場合には約８ｍ秒であり、６０ＦＰＳの場合には約１６．７ｍ秒である。また、図３に示すように、描画要求受付数は、表示ドライバ１２による描画更新要求の受信タイミング（具体的には、要求計数部４１による要求取得通知の受信タイミング）でカウントアップされる。一方、画像転送完了数は、表示ドライバ１２（具体的には、割り込み計数部４２）による転送終了割り込みの受信タイミングでカウントアップされる。また、コマ落ち判定部４３によるコマ落ち判定（コマ落ち検出）は、Vsync割り込みの受信タイミングで行われる。
<Frame drop detection method>
Next, an example of a frame drop detection method will be described based on FIG. FIG. 3 is a diagram for explaining a frame drop detection method in the
図３に示すように、表示ドライバ１２のコマ落ち判定部４３は、時刻Ｔ１でVsync割り込みを受信する。表示ドライバ１２は、時刻Ｔ１よりも前に描画更新要求及び転送終了割り込みを受信していないため、時刻Ｔ１での描画要求受付数及び画像転送完了数は共に「０」である。そのため、コマ落ち判定部４３は、コマ落ちが発生していないと判定する。
As shown in FIG. 3, the frame drop determination unit 43 of the
その後、表示ドライバ１２は、アプリケーション実行部１１から１つ目の描画更新要求を受信すると、要求計数部４１は描画要求受付数を「１」とし、画像転送指示部３１は画像転送開始指示を画像処理・出力ＨＷ１３に送信する。画像処理・出力ＨＷ１３は、時刻Ｔ２においてVsync割り込みを受信したタイミングで（すなわち、Vsync割り込みに同期させて）、１つ目の描画更新要求に対する画像データの転送処理を行う。また、コマ落ち判定部４３は、時刻Ｔ２における「描画要求受付数（１）−画像転送完了数（０）」を算出し、その差が２より小さいためコマ落ちが発生していないと判定する。なお、描画要求受付数と画像転送完了数とは、更新タイミングが異なるため、描画要求受付数−画像転送完了数＝１の場合、１つの画像データが次のVsync割り込み受信時に転送されるのを待機している状態である。描画要求受付数−画像転送完了数≧２の場合は、画像データの転送が次の描画更新要求までに完了しておらず、コマ落ちが発生したことを示す。
Thereafter, when the
次に、図３の例では、表示ドライバ１２は、上記転送中に（当該転送に係る転送終了割り込みを受信する前に）２つ目の描画更新要求を受信している。表示ドライバ１２は、１つ目の描画更新要求に対する転送終了割り込みを画像処理・出力ＨＷ１３から受信した後、２つ目の描画更新要求に対する画像転送開始指示を画像処理・出力ＨＷ１３に送信する。画像処理・出力ＨＷ１３は、時刻Ｔ３においてVsync割り込みを受信したタイミングで、２つ目の描画更新要求に対する転送処理を行う。
Next, in the example of FIG. 3, the
ここで、アプリケーション実行部１１は、図２に示すようにVsync割り込み及び転送終了割り込みを受信しないため、液晶ドライバ２２への画像データの送信タイミング（液晶パネル２１の描画更新タイミング）を特定できない。そのため、アプリケーション実行部１１は、アプリケーションの実行結果に従って画像データを随時生成し、生成するたびに（すなわち、画像データの転送が終了したか否かにかかわらず）表示ドライバ１２に描画更新要求を送信している。一方、表示ドライバ１２は、描画更新要求の受信と、当該描画更新要求に対する転送終了割り込みの受信とを管理している。具体的には、画像転送指示部３１は、描画更新要求に対する転送終了割り込み（すなわち、割り込み完了通知）を受信しないと、次の描画更新要求を受信していたとしても、当該次の描画更新要求に対する画像転送開始指示を画像処理・出力ＨＷ１３を送信しない。
Here, since the
なお、要求計数部４１は、上記２つ目の描画更新要求を受信したタイミングで描画要求受付数を「２」とする。また、割り込み計数部４２は、１つ目の描画更新要求に対する転送終了割り込みを受信したタイミングで画像転送完了数を「１」とする。また、コマ落ち判定部４３は、時刻Ｔ３において、「描画要求受付数（２）−画像転送完了数（１）」を算出し、差が２より小さいためにコマ落ちは発生していないと判定する。 The request counting unit 41 sets the drawing request reception number to “2” at the timing when the second drawing update request is received. Further, the interrupt counting unit 42 sets the number of image transfer completions to “1” at the timing of receiving the transfer end interrupt for the first drawing update request. Further, the frame drop determination unit 43 calculates “drawing request acceptance number (2) −image transfer completion number (1)” at time T3, and determines that no frame drop has occurred because the difference is smaller than 2. To do.
その後、表示ドライバ１２は、３つ目の描画更新要求を、２つ目の描画更新要求に対する転送終了割り込み受信後であるが、時刻Ｔ４の直前で受信する。そして、この例においては、画像転送開始指示は時刻Ｔ４より後に、画像処理・出力ＨＷ１３に送信される。そのため、３つ目の描画更新要求に対する転送処理は、次のVsync割り込みの受信タイミングである時刻Ｔ５で行われる。
Thereafter, the
なお、割り込み計数部４２は、２つ目の描画更新要求に対する転送終了割り込みを受信したタイミングで画像転送完了数を「２」とする。要求計数部４１は、３つ目の描画更新要求を受信したタイミングで描画要求受付数を「３」とする。また、コマ落ち判定部４３は、時刻Ｔ４において、「描画要求受付数（３）−画像転送完了数（２）」を算出し、差が２より小さいためにコマ落ちは発生していないと判定する。 Note that the interrupt counting unit 42 sets the image transfer completion number to “2” at the timing of receiving the transfer end interrupt for the second drawing update request. The request counting unit 41 sets the drawing request reception number to “3” at the timing of receiving the third drawing update request. Further, the frame drop determination unit 43 calculates “drawing request acceptance number (3) −image transfer completion number (2)” at time T4, and determines that no frame drop has occurred because the difference is smaller than 2. To do.
その後、表示ドライバ１２は、３つ目の描画更新要求に対する画像転送開始指示を送信後、時刻Ｔ５において当該描画更新要求に対する転送処理が行われる前に、４つ目の描画更新要求を受信する。しかし、上述のように、画像処理・出力ＨＷ１３は、次のVsync割り込み受信時（時刻Ｔ５）に、３つ目の描画更新要求に対する転送処理を行うため、４つ目の描画更新要求の受信から次のVsync割り込みの受信までの間において、３つ目の描画更新要求に対する転送終了割り込みを受信しない。そのため、表示ドライバ１２が、４つ目の描画更新要求に対する画像転送開始指示を送信することができない。つまり、画像処理・出力ＨＷ１３は、時刻Ｔ５におけるVsync割り込み受信時に４つ目の描画更新要求に対する転送処理を行うことができない。そのため、４つ目の描画更新要求に対応する画像データが液晶ドライバ２２に送信されないため、当該画像データが示す画像が液晶パネル２１に表示されないといったコマ落ちが発生する。
Thereafter, the
このコマ落ちの発生は、コマ落ち判定部４３によって検出される。すなわち、要求計数部４１は、４つ目の描画更新要求の受信タイミングで描画要求受付数を「４」とする。一方、３つ目の描画更新要求に対する転送処理は時刻Ｔ５において行われるため、３つ目の描画更新要求に対する転送終了割り込みは、時刻Ｔ５より後に画像処理・出力ＨＷ１３から送信される。そのため、時刻Ｔ５においては、画像転送完了数は「２」のままである。従って、コマ落ち判定部４３は、時刻Ｔ５において「描画要求受付数（４）−画像転送完了数（２）＝２」と算出し、差が２以上となるためコマ落ちが発生したと判定する。
The occurrence of the frame drop is detected by the frame drop determination unit 43. That is, the request counting unit 41 sets the number of drawing request receptions to “4” at the reception timing of the fourth drawing update request. On the other hand, since the transfer process for the third drawing update request is performed at time T5, the transfer end interrupt for the third drawing update request is transmitted from the image processing /
このように、コマ落ち判定部４３は、画像データの転送タイミングであるVsync割り込みを受信するたびに、描画要求受付数と画像転送完了数とを比較するので、コマ落ちする画像データ数を正確に計数できる。 As described above, the frame drop determination unit 43 compares the number of drawing requests received and the number of image transfers completed each time a Vsync interrupt, which is the transfer timing of image data, is received. Can count.
＜表示ドライバ１２における処理（パフォーマンスレベルの上限値の制御方法）＞
次に、図４および図５に基づいて、表示ドライバ１２における処理の一例について説明する。図４は、表示ドライバ１２における処理の流れを示すフローチャートである。図５は、ＣＰＵのパフォーマンスレベルの上限値の制御方法を示すタイミングチャートである。なお、図５に記載の描画更新レートとは、アプリケーション実行部１１が画像データを生成し、描画更新要求を発行する処理速度である。
<Processing in Display Driver 12 (Performance Level Control Method)>
Next, an example of processing in the
ここで、本実施形態では、パフォーマンスレベルの上限値Ｌは、予め決められた０≦Ｌ≦６３の６４個のいずれかに設定される。この６４個の上限値Ｌは、クロック周波数および電圧値等のＣＰＵの処理能力に関連した各種パラメータの値にそれぞれ対応付けられている。上限値Ｌ＝６３は最大値であり、このとき上記各種パラメータの値もそれぞれ最大値をとる。上限値Ｌ＝０は最小値であり、このとき上記各種パラメータの値もそれぞれ最小値をとる。なお、上限値Ｌ＝０のときの各種パラメータの値は０ではなく、ＣＰＵが最小限の動作（例えば、コマ落ち判定処理等）を行うことが可能な程度の値に設定されている。すなわち、上限値Ｌ＝０の場合であっても、ＣＰＵは休止しておらず動作可能である。また、上限値Ｌの最大値は６３に限らず、任意に設定可能である。 Here, in the present embodiment, the upper limit value L of the performance level is set to any one of 64 predetermined 0 ≦ L ≦ 63. The 64 upper limit values L are associated with values of various parameters related to the CPU processing capability such as clock frequency and voltage value. The upper limit value L = 63 is a maximum value, and at this time, the values of the various parameters also have maximum values. The upper limit L = 0 is a minimum value, and at this time, the values of the various parameters also have minimum values. Note that the values of the various parameters when the upper limit L = 0 is not 0, but are set to values that allow the CPU to perform a minimum operation (for example, frame drop determination processing). That is, even when the upper limit value L = 0, the CPU can operate without being paused. Further, the maximum value of the upper limit L is not limited to 63 and can be set arbitrarily.
まず、図４に示すように、パフォーマンス制御部１４は、ＣＰＵにかかる負荷（処理負荷）に伴って、パフォーマンスレベルの上限値Ｌを決定する（Ｓ１）。クロック・電圧制御部１５は、現在設定されている上限値Ｌを、パフォーマンス制御部１４が決定した上限値Ｌに変更する。
First, as shown in FIG. 4, the
コマ落ちが発生すると、コマ落ち判定部４３はコマ落ちが発生したと判定する（転送終了判定ステップ）。そして、発生回数計数部３３は、コマ落ちの発生回数の計数を開始する（計数ステップ）。発生回数比較部３４は、発生回数計数部３３によって計数された上記発生回数が、第１所定期間（Ｔｄｒｏｐ１）において第１所定回数（Ｎｄｒｏｐ１）以上のコマ落ちが発生しているか否かを判定する（Ｓ２）。本実施形態では、発生回数比較部３４は、Ｔｄｒｏｐ１＝３０ｍｓ内にＮｄｒｏｐ１＝２回以上、コマ落ちが発生したかを判定する。第１所定回数以上であると判定された場合（Ｓ２でＹＥＳ）、レベル制御部３５は、現在設定されている上限値Ｌに所定値Ｌｄｒｏｐ１（本実施形態では、Ｌｄｒｏｐ１＝１）を加えた値を、新たな上限値Ｌとして算出する（Ｓ３；レベル制御ステップ）。そして、レベル制御部３５は、算出した上限値Ｌが、上限値Ｌの最大値（本実施形態では「６３」）を超えていないか否かを判定する（Ｓ４；レベル制御ステップ）。レベル制御部３５は、超えていない場合には（Ｓ４でＮＯ）、算出した上限値Ｌを新たな上限値Ｌに設定し、超えている場合には（Ｓ４でＹＥＳ）、新たな上限値Ｌとして最大値６３に設定する（Ｓ５；レベル制御ステップ）。 When a frame drop occurs, the frame drop determination unit 43 determines that a frame drop has occurred (transfer end determination step). Then, the occurrence number counting unit 33 starts counting the number of occurrences of frame dropping (counting step). The occurrence count comparison unit 34 determines whether or not the above-mentioned occurrence count counted by the occurrence count counting unit 33 has dropped more than the first predetermined number (Ndrop1) during the first predetermined period (Tdrop1). (S2). In the present embodiment, the occurrence count comparison unit 34 determines whether or not a frame drop has occurred Ndrop1 = 2 times or more within Tdrop1 = 30 ms. When it is determined that the number is equal to or greater than the first predetermined number of times (YES in S2), the level control unit 35 is a value obtained by adding a predetermined value Ldrop1 (Ldrop1 = 1 in the present embodiment) to the currently set upper limit value L. Is calculated as a new upper limit value L (S3; level control step). Then, the level control unit 35 determines whether or not the calculated upper limit value L exceeds the maximum value (“63” in the present embodiment) of the upper limit value L (S4; level control step). If not exceeded (NO in S4), the level control unit 35 sets the calculated upper limit L to a new upper limit L, and if exceeded (YES in S4), the new upper limit L Is set to the maximum value 63 (S5; level control step).
すなわち、レベル制御部３５は、コマ落ちの発生回数が第１所定期間において第１所定回数以上となった場合で、かつ現在設定されている上限値Ｌが最大でない場合には、当該現在設定されている上限値Ｌを上げる。なお、Ｓ２でＮＯの場合には、Ｓ６の処理へ移行する。 In other words, the level control unit 35 sets the current setting when the number of dropped frames is greater than or equal to the first predetermined number in the first predetermined period and the currently set upper limit L is not the maximum. Increase the upper limit L. If S2 is NO, the process proceeds to S6.
また、発生回数比較部３４は、第２所定期間（Ｔｄｒｏｐ２）内に第２所定回数（Ｎｄｒｏｐ２）以上のコマ落ちが発生しているか否かを判定する（Ｓ６）。本実施形態では、発生回数比較部３４は、Ｔｄｒｏｐ２＝５００ｍｓ内にＮｄｒｏｐ２＝５０回以上、コマ落ちが発生したかを判定する。第２所定回数以上であると判定された場合（Ｓ６でＹＥＳ）、レベル制御部３５は、現在設定されている上限値Ｌを下げる。具体的には、レベル制御部３５は、現在設定されている上限値Ｌから所定値Ｌｄｒｏｐ２（本実施形態では、Ｌｄｒｏｐ２＝８）を引いた値を、新たな上限値Ｌとして算出する（Ｓ７；レベル制御ステップ）。そして、レベル制御部３５は、算出した上限値Ｌが、上限値Ｌの最小値（本実施形態では「０」）を下回っていないか否かを判定する（Ｓ８；レベル制御ステップ）。レベル制御部３５は、下回っていない場合には（Ｓ８でＮＯ）、算出した上限値Ｌを新たな上限値Ｌに設定し、下回っている場合には（Ｓ８でＹＥＳ）、新たな上限値Ｌとして最小値０に設定する（Ｓ９；レベル制御ステップ）。なお、Ｓ６でＮＯの場合には、Ｓ１０の処理へ移行する。 In addition, the occurrence count comparison unit 34 determines whether or not frame dropping has occurred more than the second predetermined number of times (Ndrop2) within the second predetermined period (Tdrop2) (S6). In the present embodiment, the occurrence count comparing unit 34 determines whether or not a frame drop has occurred Ndrop2 = 50 times or more within Tdrop2 = 500 ms. When it is determined that the number is equal to or greater than the second predetermined number of times (YES in S6), the level control unit 35 lowers the currently set upper limit value L. Specifically, the level control unit 35 calculates a value obtained by subtracting a predetermined value Ldrop2 (Ldrop2 = 8 in the present embodiment) from the currently set upper limit value L as a new upper limit value L (S7; Level control step). Then, the level control unit 35 determines whether or not the calculated upper limit value L is less than the minimum value (“0” in the present embodiment) of the upper limit value L (S8; level control step). The level control unit 35 sets the calculated upper limit value L to a new upper limit value L when it is not lower (NO at S8), and sets the new upper limit value L when it is lower (YES at S8). As the minimum value 0 (S9; level control step). If NO in S6, the process proceeds to S10.
また、発生回数比較部３４は、第３所定期間（Ｔｄｒｏｐ３）内に第３所定回数（Ｎｄｒｏｐ３）以上のコマ落ちが発生しているか否かを判定する（Ｓ１０）。本実施形態では、発生回数比較部３４は、Ｔｄｒｏｐ３＝３０００ｍｓ内にＮｄｒｏｐ３＝３００回以上、コマ落ちが発生したかを判定する。第３所定回数以上であると判定された場合（Ｓ１０でＹＥＳ）、レベル制御部３５は、現在設定されている上限値Ｌを上げる。具体的には、レベル制御部３５は、現在設定されている上限値Ｌに所定値Ｌｄｒｏｐ３（本実施形態では、Ｌｄｒｏｐ３＝８）を加えた値を、新たな上限値Ｌとして算出する（Ｓ１１）。そして、レベル制御部３５は、算出した上限値Ｌが、上限値Ｌの最大値（本実施形態では「６３」）を超えていないか否かを判定する（Ｓ１２）。レベル制御部３５は、超えていない場合には（Ｓ１２でＮＯ）、算出した上限値Ｌを新たな上限値Ｌに設定し、超えている場合には（Ｓ１２でＹＥＳ）、新たな上限値Ｌとして最大値６３に設定する（Ｓ１３）。 In addition, the occurrence count comparison unit 34 determines whether or not frame dropping has occurred for the third predetermined number of times (Ndrop3) or more within the third predetermined period (Tdrop3) (S10). In the present embodiment, the occurrence count comparison unit 34 determines whether or not a frame drop has occurred Ndrop3 = 300 times or more within Tdrop3 = 3000 ms. When it is determined that the number is equal to or greater than the third predetermined number of times (YES in S10), the level control unit 35 increases the currently set upper limit L. Specifically, the level control unit 35 calculates a value obtained by adding a predetermined value Ldrop3 (in this embodiment, Ldrop3 = 8) to the currently set upper limit value L as a new upper limit value L (S11). . Then, the level control unit 35 determines whether or not the calculated upper limit value L exceeds the maximum value of the upper limit value L (“63” in the present embodiment) (S12). If not exceeded (NO in S12), the level control unit 35 sets the calculated upper limit L to a new upper limit L, and if exceeded (YES in S12), the new upper limit L Is set to the maximum value 63 (S13).
なお、（１）Ｓ２〜Ｓ５の処理、（２）Ｓ６〜Ｓ９の処理、および（３）Ｓ１０〜Ｓ１３の処理はそれぞれ独立して行われればよく、（１）〜（３）の処理順は図４に示すフローに限定されない。例えば、（１）〜（３）の処理が並行して行われてもよい。 Note that (1) S2 to S5, (2) S6 to S9, and (3) S10 to S13 may be performed independently, and the processing order of (1) to (3) is as follows. It is not limited to the flow shown in FIG. For example, the processes (1) to (3) may be performed in parallel.
次に、図５に示すタイミングチャートを参照して、上記処理の流れについて説明する。図５の例では、時刻Ｔ１１において、アプリケーション実行部１１によって画像データの生成処理が開始される。そのため、パフォーマンス制御部１４は、当該生成処理が重くなった（当該生成処理に負荷がかかる）と判断し、１つ目の描画更新要求を取得した時点で、パフォーマンスレベルの上限値Ｌを所定値だけ上げる（図４のＳ１）。その後、描画更新レートが徐々に増加していくと、その分表示ドライバ１２に要求されるＣＰＵの負荷も増加する。そして、当該負荷（現在設定されている上限値Ｌ）を超えた処理速度で画像データが生成されると、液晶ドライバ２２に転送できない画像データが発生してしまう。すなわち、コマ落ちが発生してしまう。
Next, the flow of the above process will be described with reference to the timing chart shown in FIG. In the example of FIG. 5, the
図５では、時刻Ｔ１２の前でコマ落ちが発生している。コマ落ち判定部４３が１つ目のコマ落ちの発生を検出した時点で、発生回数計数部３３は、コマ落ちの回数を計数する。第１所定期間である期間「Ａ」において２回のコマ落ちが発生しているため、レベル制御部３５は、Ｓ３及びＳ４の処理を行い、時刻Ｔ１２において、現在設定されている上限値Ｌを所定値Ｌｄｒｏｐ１だけ上げる。その後の期間（期間「Ａ」及び「Ｂ」の間）においてコマ落ちは発生していない。そのため、発生回数比較部３４は所定回数のコマ落ちが発生していないと判定する。 In FIG. 5, frame dropping has occurred before time T12. When the frame drop determination unit 43 detects the occurrence of the first frame drop, the occurrence count counting unit 33 counts the number of frame drop. Since frame dropping has occurred twice in the period “A” which is the first predetermined period, the level control unit 35 performs the processes of S3 and S4, and sets the currently set upper limit value L at time T12. Increase by a predetermined value Ldrop1. In the subsequent period (between the periods “A” and “B”), no frame drop occurs. Therefore, the occurrence number comparison unit 34 determines that a predetermined number of frame dropping has not occurred.
その後、時刻Ｔ１２後に、再びコマ落ちが発生している。コマ落ち判定部４３が当該コマ落ちの発生を検出した時点で、発生回数計数部３３は、コマ落ちの発生回数を計数する。第１所定期間である期間「Ｂ」においては１回のコマ落ちしか発生していないため、発生回数比較部３４は所定回数のコマ落ちが発生していないと判定する。 Thereafter, after time T12, frame dropping occurs again. When the frame drop determining unit 43 detects the occurrence of the frame drop, the occurrence count counting unit 33 counts the number of frame drop occurrences. In the period “B” that is the first predetermined period, only one frame drop has occurred, so the occurrence count comparison unit 34 determines that a predetermined number of frame drops has not occurred.
その後の時刻Ｔ１３までの期間では描画更新レートが変化しているが、当該描画更新レートに対応し得る上限値Ｌに設定されているため、コマ落ちが発生していない。その後、時刻Ｔ１３の前で描画更新レートが急激に低下している。パフォーマンス制御部１４は、画像データの生成処理が軽くなった（当該生成処理に負荷がかからなくなった）と判断し、その低下にあわせて、時刻Ｔ１３において上限値Ｌを所定値だけ下げる（Ｓ１）。その後、描画更新レートは、最大値１２０ＦＰＳまで急激に上昇している。そのため、パフォーマンス制御部１４は、画像データの生成処理が重くなったと判断し、時刻Ｔ１４において、上限値Ｌを所定値だけ上げる（Ｓ１）。図５に示すように、ここでは、パフォーマンス制御部１４は、段階的に上限値Ｌを上げて、上限値Ｌを最大値まで上げている。これは、例えば、表示ドライバ１２以外の他のドライバ（例えば、表示ドライバ１２の処理とは関連しない通信処理に係るドライバ）からの処理の要求がＣＰＵに入り、当該他のドライバから上限値Ｌを上げる旨の指示がパフォーマンス制御部１４に入ったことに起因する。
The drawing update rate changes during the period up to time T13 thereafter, but since the upper limit value L that can correspond to the drawing update rate is set, no frame drop occurs. Thereafter, the drawing update rate rapidly decreases before time T13. The
その後、コマ落ちが発生すると、コマ落ち判定部４３が当該コマ落ちの発生を検出した時点で、発生回数計数部３３は、コマ落ちの発生回数を計数する。第１所定期間である期間「Ｃ」において２回のコマ落ちが発生しているため、レベル制御部３５は、Ｓ３及びＳ４の処理を行う。ここでは、上限値Ｌはすでに最大値となっているため、そのまま最大値が維持される（Ｓ５）。また、発生回数比較部３４によって第２所定期間である期間「Ｄ」において５０回以上の激しいコマ落ちが発生していると判定される。そのため、レベル制御部３５は、Ｓ７及びＳ８の処理を行い、時刻Ｔ１５において、現在設定されている上限値Ｌを所定値Ｌｄｒｏｐ２だけ下げる。 Thereafter, when a frame drop occurs, when the frame drop determination unit 43 detects the occurrence of the frame drop, the occurrence count counting unit 33 counts the number of frame drop occurrences. Since frame dropping has occurred twice in the period “C” which is the first predetermined period, the level control unit 35 performs the processes of S3 and S4. Here, since the upper limit L is already the maximum value, the maximum value is maintained as it is (S5). Further, the occurrence number comparison unit 34 determines that 50 or more severe frame droppings have occurred in the period “D” that is the second predetermined period. Therefore, the level control unit 35 performs the processes of S7 and S8, and lowers the currently set upper limit L by a predetermined value Ldrop2 at time T15.
一般に、ＣＰＵの負荷が限界に近い状態となった場合、アプリケーション実行部１１の処理よりも、表示ドライバ１２の処理（描画系処理）が優先される。しかし、ＣＰＵの負荷がさらに重くなりさらに限界に近くなる（上限値Ｌが最大となる）と、表示ドライバ１２に処理順が巡って来なくなる。本実施形態のように、非常に大きな負荷がかかるアプリケーション（例えば、描画更新に係るアプリケーション）を実行する場合には、このような状況が生じ得る。この場合、表示ドライバ１２は、アプリケーション実行部１１からの描画更新要求を処理しきれなくなるため、コマ落ちが発生してしまい、表示品位が低下してしまうことがある。
In general, when the CPU load is close to the limit, the process of the display driver 12 (drawing process) is given priority over the process of the
また、ＣＰＵは各種ドライバの複数の処理を実行する。そのため、表示ドライバ１２の処理に対応するパフォーマンスレベルの上限値のみを選択的に上げることは困難である。従って、上記のようにＣＰＵの負荷が限界に近い状態において、例えば大きな負荷がかかるアプリケーションが実行されていると、表示ドライバ１２の処理が他のドライバの処理に更に圧迫されて動作できなくなり、コマ落ちが更に激しくなってしまう場合がある。
The CPU executes a plurality of processes of various drivers. Therefore, it is difficult to selectively raise only the upper limit value of the performance level corresponding to the processing of the
本実施形態では、レベル制御部３５は、上記のように、第１所定時間よりも長い第２所定期間においても、コマ落ちが連続的に発生している状態が続いていると判定された場合には、ＣＰＵの負荷が限界に近い状態であると推定し、時刻Ｔ１５において上限値Ｌを下げる。これにより、アプリケーション実行部１１の描画更新レートが小さくなる。すなわち、上限値Ｌが下がるため表示ドライバ１２に対するＣＰＵの負荷も下がるが、その分描画更新レートも下がる。そのため、ＣＰＵの負荷が限界に近い状態で大きな負荷がかかるアプリケーションが実行されている場合であっても、アプリケーション実行部１１の処理にＣＰＵの負荷がとられすぎて、表示ドライバ１２が動作できなくなってしまうという状況を回避できる。すなわち、描画更新要求に対する画像データの転送処理を改善できるので、コマ落ちの発生頻度を低下させることができる。
In the present embodiment, as described above, the level control unit 35 determines that the state in which the frame dropping occurs continuously is continued even in the second predetermined period longer than the first predetermined time. Therefore, it is estimated that the CPU load is close to the limit, and the upper limit value L is lowered at time T15. Thereby, the drawing update rate of the
図５では、時刻Ｔ１５で上限値Ｌを下げることにより、描画更新レートも１２０ＦＰＳから９０ＦＰＳへと低下している。その結果、期間「Ｅ」においてコマ落ちの発生頻度が低下している。そのため、発生回数比較部３４は、第３所定期間において第３所定回数以上のコマ落ちが発生していないと判定する。 In FIG. 5, by reducing the upper limit L at time T15, the drawing update rate is also reduced from 120 FPS to 90 FPS. As a result, the occurrence frequency of frame dropping is reduced in the period “E”. For this reason, the occurrence count comparison unit 34 determines that no frames are dropped more than the third predetermined number in the third predetermined period.
なお、従来の装置では、ＣＰＵの負荷が限界に近い状態で激しいコマ落ちが発生している場合には、当該コマ落ちの発生を抑制するために、パフォーマンスレベルの上限値を変更せず、描画更新レートを大きく低下させていた（図５の描画更新レートの点線部分）。しかしこの場合、液晶ドライバ２２に転送される画像データが極端に少なくなってしまうため、表示品位が低下する場合があった。しかし、本実施形態の表示ドライバ１２によれば、上述のとおり、ＣＰＵの負荷が限界に近い状態で激しいコマ落ちが発生している場合にはパフォーマンスレベルの上限値を下げるので、描画更新レートの大幅に低下させることなく、コマ落ちの発生頻度を低下させることができ、一定の表示品位を確保できる。
In a conventional apparatus, when a severe frame drop occurs while the CPU load is close to the limit, the upper limit value of the performance level is not changed in order to suppress the occurrence of the frame drop. The update rate was greatly reduced (the dotted line portion of the drawing update rate in FIG. 5). However, in this case, the image data transferred to the
＜本実施形態における主な効果＞
このように、表示ドライバ１２は、コマ落ちの所定期間内の発生回数に基づいて、ＣＰＵのパフォーマンスレベルの上限値を制御するので、コマ落ちの発生頻度を考慮して適切なパフォーマンスレベルの上限値に調整することができる。
<Main effects in this embodiment>
In this way, the
具体的には、表示ドライバ１２は、第１所定時間内で発生したコマ落ちの発生回数が第１所定回数以上となったと判定した場合には、コマ落ちが激しくなってきたと判定する。そして、現在設定されているパフォーマンスレベルの上限値が最大でない場合には、当該上限値を上げる。これにより、表示ドライバ１２は、自機のパフォーマンスを向上させることができる。
Specifically, if the
一方、表示ドライバ１２は、第１所定時間よりも長い第２所定時間内で発生したコマ落ちの発生回数が第２所定回数以上となったと判定した場合には、パフォーマンスレベルの上限値を上げてもコマ落ちが激しいと判定し、現在設定されているパフォーマンスレベルの上限値を下げる。すなわち、表示ドライバ１２は、所定時間においてコマ落ちが激しい状態が継続している場合には、逆にパフォーマンスレベルの上限値を下げる。これにより、描画更新レートが小さくなるので、激しいコマ落ちの発生を回避し、コマ落ちのレートを安定化させることができる。
On the other hand, if the
ここで、コマ落ちは不定期に発生するので、画面（液晶パネル）は不定期に更新される。そのため、動画の連続性が損なわれるので、画面の視認性が悪くなり、ユーザーは見づらく不快に感じる。これに対して、描画更新レートを下げた場合、画面は定期的に更新されるため、動画の連続性が確保される。そのため、画面の視認性の低下を抑制でき、ユーザーは見づらく感じない。本実施形態では、コマ落ちの発生回数を抑制し、かつ描画更新レートを下げているので、単位時間当たりのフレーム数が同じ比率であったとしても、動画の連続性が確保されることにより、視認性が損なわれない。 Here, frame dropping occurs irregularly, so the screen (liquid crystal panel) is updated irregularly. Therefore, since the continuity of the moving image is impaired, the visibility of the screen is deteriorated, and the user feels uncomfortable and uncomfortable. On the other hand, when the drawing update rate is lowered, the screen is regularly updated, so that the continuity of the moving image is ensured. Therefore, it is possible to suppress a decrease in the visibility of the screen and the user does not feel it difficult to see. In this embodiment, since the number of frame dropping occurrences is suppressed and the drawing update rate is lowered, even if the number of frames per unit time is the same ratio, the continuity of the video is ensured, Visibility is not impaired.
なお、特許文献１の再生装置では、メインプロセッサの能力を基準にフレームレートを設定しているため、不必要に低いフレームレートに設定してしまう可能性がある。そのため、不必要に表示品位を低下させてしまう可能性がある。本実施形態の表示ドライバ１２は、上記のようにＣＰＵのパフォーマンスレベルの上限値を制御するので、特許文献１の再生装置のように不必要に表示品位を低下させてしまうことはない。
In the playback apparatus of
〔実施形態２；ソフトウェアによる実施例〕
実施形態１で述べたホスト１０の構成は、以下のように実現可能である。
[Embodiment 2: Example using software]
The configuration of the
すなわち、図２に示すホスト１０のアプリケーション実行部１１、表示ドライバ１２（図１で示す各機能ブロックを含む）及びパフォーマンス制御部１４は、例えばＣＰＵを用いてソフトウェアによって実現される。
That is, the
この場合、表示装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ（ホスト１０を含む表示装置１の各種処理を制御する制御装置）、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In this case, the
なお、アプリケーション実行部１１、表示ドライバ１２及びパフォーマンス制御部１４は、ハードウェアで実現されてもよい。
Note that the
〔まとめ〕
本発明の態様１に係る表示制御装置は、表示パネルに表示される画像の表示制御を行う表示制御装置であって、上記表示パネルに表示される１フレーム分の画像の更新要求である描画更新要求に対する、当該表示パネルへの当該画像を示す画像データの転送が終了したか否かを判定する転送終了判定部と、上記転送終了判定部によって上記転送が終了したと判定されなかった回数を計数する計数部と、上記計数部によって計数された所定期間内の上記回数に基づいて、上記表示制御装置を含む装置の各種処理を制御する制御装置のパフォーマンスレベルの上限値を制御するレベル制御部と、を備える。
[Summary]
A display control apparatus according to
上記構成によれば、計数部が計数する回数は、所謂コマ落ちが発生した回数である。表示制御装置は、そのコマ落ちの所定期間内の発生回数に基づいて、制御装置のパフォーマンスレベルの上限値を制御する。それゆえ、表示制御装置は、コマ落ちの発生頻度を考慮して適切なパフォーマンスレベルの上限値に調整することができる。 According to the above configuration, the number of times counted by the counting unit is the number of times that a so-called frame drop has occurred. The display control device controls the upper limit value of the performance level of the control device based on the number of occurrences of the dropped frame within a predetermined period. Therefore, the display control apparatus can adjust the upper limit value of the appropriate performance level in consideration of the frame drop occurrence frequency.
さらに、本発明の態様２に係る表示制御装置は、態様１において、上記レベル制御部は、上記計数部によって計数された上記回数が、上記所定期間としての第１所定期間において第１所定回数以上となった場合で、かつ上記パフォーマンスレベルの上限値が最大でない場合には、現在設定されている上記パフォーマンスレベルの上限値を上げてもよい。
Furthermore, in the display control device according to
コマ落ちが発生すると、滑らかな動画再生が困難となる。上記構成によれば、比較的短い所定期間である第１所定期間（例えば３０ｍｓ）内のコマ落ちの発生回数が、発生回数の閾値として比較的小さい第１所定回数（例えば２回）以上の場合で、かつパフォーマンスレベルの上限値が最大でない場合には、パフォーマンスレベルの上限値を上げる。これにより、表示制御装置のパフォーマンス（描画関連処理のパフォーマンス）を向上させることができる。それゆえ、コマ落ちの発生を抑制することが可能となる。 When a frame drop occurs, smooth video playback becomes difficult. According to the above configuration, the number of dropped frames within a first predetermined period (for example, 30 ms), which is a relatively short predetermined period, is greater than or equal to the first predetermined number of times (for example, two times) that is relatively small as a threshold for the number of occurrences. If the upper limit value of the performance level is not the maximum, the upper limit value of the performance level is increased. Thereby, the performance of the display control apparatus (performance of drawing-related processing) can be improved. Therefore, it is possible to suppress the occurrence of frame dropping.
さらに、本発明の態様３に係る表示制御装置は、態様２において、上記レベル制御部は、上記計数部によって計数された上記回数が、上記第１所定期間よりも長い第２所定期間において、上記第１所定回数よりも多い第２所定回数以上となった場合には、現在設定されている上記パフォーマンスレベルの上限値を下げてもよい。
Furthermore, the display control apparatus according to
一般に、制御装置の負荷が限界に近い状態となった場合、アプリケーションの処理よりもドライバの処理の方が優先される。すなわち、描画更新要求の発行処理よりも、表示制御装置における処理が優先される。しかし、制御装置の負荷がさらに重くなりさらに限界に近くなると、表示制御装置に処理順がなかなか巡って来なくなる。この場合、表示制御装置は、描画更新要求を処理しきれなくなるため、コマ落ちを発生させてしまう。そのため、上記構成のように、比較的長い第２所定期間（例えば５００ｍｓ）内に第２所定回数（５０回）以上のコマ落ちが発生している場合にパフォーマンスレベルの上限値を下げることにより、上記状態と想定されるときの、単位時間あたりに発行される描画更新要求数（描画更新レート）を小さくすることでコマ落ちの頻度を下げることができる。 In general, when the load on the control device is close to the limit, the driver process has priority over the application process. In other words, the processing in the display control device is prioritized over the drawing update request issuance processing. However, if the load on the control device becomes heavier and nears the limit, the display control device will not readily go through the processing order. In this case, the display control apparatus cannot process the drawing update request, and thus drops frames. Therefore, by reducing the upper limit value of the performance level when the number of frames dropped more than the second predetermined number of times (50 times) within a relatively long second predetermined period (for example, 500 ms) as in the above configuration, By reducing the number of drawing update requests (drawing update rate) issued per unit time when the above state is assumed, the frame drop frequency can be reduced.
したがって、制御装置の負荷が限界に近く、表示制御装置にかかる当該負荷の割合が少なくなっている状態であっても、表示制御装置は、取得した描画更新要求に対する画像データの転送の割合（描画レート）を、パフォーマンスレベルの上限値を下げる前に比べて増やすことができる。換言すれば、上記状態において、コマ落ちの発生割合を低くして一定の描画レートを確保することができるので、表示が固まってしまうような現象の発生を抑制し、一定の表示品位を確保することができる。すなわち、制御装置の負荷に依存せずに、滑らかな表示を維持することができる。 Therefore, even in a state where the load on the control device is close to the limit and the ratio of the load applied to the display control device is small, the display control device can transfer the image data transfer rate to the acquired drawing update request (drawing). Rate) can be increased compared to before the upper limit of the performance level is lowered. In other words, in the above state, it is possible to reduce the occurrence rate of frame dropping and ensure a constant drawing rate, thereby suppressing the occurrence of a phenomenon that the display is hardened and ensuring a certain display quality. be able to. That is, a smooth display can be maintained without depending on the load of the control device.
さらに、本発明の態様４に係る表示制御装置は、態様１から３のいずれかにおいて、上記転送終了判定部は、上記描画更新要求を取得した回数である描画要求受付数が、上記描画更新要求に対する上記表示パネルへの画像データの転送が終了したことを示す転送終了割り込みを取得した回数である画像転送完了数よりも２以上多くなった場合に、上記画像データの転送が終了していないと判定してもよい。
Furthermore, the display control apparatus according to
上記構成によれば、コマ落ちの発生回数を確実に計数することができる。 According to the above configuration, the number of dropped frames can be counted reliably.
さらに、本発明の態様５に係る表示制御装置の制御方法は、表示パネルに表示される画像の表示制御を行う表示制御装置の制御方法であって、上記表示パネルに表示される１フレーム分の画像の更新要求である描画更新要求に対する、当該表示パネルへの当該画像を示す画像データの転送が終了したか否かを判定する転送終了判定ステップと、上記転送終了判定ステップにおいて上記転送が終了したと判定されなかった回数を計数する計数ステップと、上記計数ステップにおいて計数された所定期間内の上記回数に基づいて、上記表示制御装置を含む装置の各種処理を制御する制御装置のパフォーマンスレベルの上限値を制御するレベル制御ステップと、を含む。
Furthermore, a control method for a display control apparatus according to
上記方法によれば、態様１の表示制御装置と同様の効果を奏する。
According to the said method, there exists an effect similar to the display control apparatus of
さらに、本発明の各態様に係る表示制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示制御装置が備える各部（ソフトウェア要素）として動作させることにより上記表示制御装置をコンピュータにて実現させる表示制御装置の表示制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 Furthermore, the display control apparatus according to each aspect of the present invention may be realized by a computer. In this case, the display control apparatus is operated by causing the computer to operate as each unit (software element) included in the display control apparatus. A display control program for a display control apparatus realized by a computer and a computer-readable recording medium on which the display control program is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
１ 表示装置（表示制御装置を含む装置） １２ 表示ドライバ（表示制御装置）
２１ 液晶パネル（表示パネル） ３２ 転送終了判定部
３３ 発生回数計数部（計数部） ３５ レベル制御部
1 Display device (device including display control device) 12 Display driver (display control device)
21 Liquid Crystal Panel (Display Panel) 32 Transfer End Determination Unit 33 Occurrence Counting Unit (Counting Unit) 35 Level Control Unit
Claims (6)
上記表示パネルに表示される１フレーム分の画像の更新要求である描画更新要求に対する、当該表示パネルへの当該画像を示す画像データの転送が終了したか否かを判定する転送終了判定部と、
上記転送終了判定部によって上記転送が終了したと判定されなかった回数を計数する計数部と、
上記計数部によって計数された所定期間内の上記回数に基づいて、上記表示制御装置を含む装置の各種処理を制御する制御装置のパフォーマンスレベルの上限値を制御するレベル制御部と、を備えることを特徴とする表示制御装置。 A display control device that performs display control of an image displayed on a display panel,
A transfer end determination unit that determines whether transfer of image data indicating the image to the display panel has ended in response to a drawing update request that is an update request for an image of one frame displayed on the display panel;
A counting unit that counts the number of times that the transfer is not determined to be completed by the transfer end determination unit;
A level control unit that controls an upper limit value of a performance level of a control device that controls various processes of the device including the display control device based on the number of times within a predetermined period counted by the counting unit. A display control device.
上記表示パネルに表示される１フレーム分の画像の更新要求である描画更新要求に対する、当該表示パネルへの当該画像を示す画像データの転送が終了したか否かを判定する転送終了判定ステップと、
上記転送終了判定ステップにおいて上記転送が終了したと判定されなかった回数を計数する計数ステップと、
上記計数ステップにおいて計数された所定期間内の上記回数に基づいて、上記表示制御装置を含む装置の各種処理を制御する制御装置のパフォーマンスレベルの上限値を制御するレベル制御ステップと、を含むことを特徴とする表示制御装置の制御方法。 A control method of a display control device that performs display control of an image displayed on a display panel,
A transfer end determination step for determining whether transfer of image data indicating the image to the display panel is completed in response to a drawing update request which is an update request for an image of one frame displayed on the display panel;
A counting step for counting the number of times the transfer has not been determined to be completed in the transfer end determination step;
A level control step for controlling an upper limit value of a performance level of a control device for controlling various processes of the device including the display control device based on the number of times within a predetermined period counted in the counting step. A control method for a display control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015192098A JP2017069713A (en) | 2015-09-29 | 2015-09-29 | Display control device, control method of the same, and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015192098A JP2017069713A (en) | 2015-09-29 | 2015-09-29 | Display control device, control method of the same, and display control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017069713A true JP2017069713A (en) | 2017-04-06 |
Family
ID=58492858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015192098A Pending JP2017069713A (en) | 2015-09-29 | 2015-09-29 | Display control device, control method of the same, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017069713A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114153408A (en) * | 2021-11-27 | 2022-03-08 | 深圳曦华科技有限公司 | Image display control method and related equipment |
| US11842670B2 (en) | 2020-06-23 | 2023-12-12 | Samsung Electronics Co., Ltd. | Electronic device for dynamically adjusting refresh rate of display |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366252A (en) * | 2001-06-11 | 2002-12-20 | Kenwood Corp | System and method for controlling operation frequency, portable information processing terminal and program |
| JP2005278194A (en) * | 2004-03-25 | 2005-10-06 | Sony Corp | Image-decoding instrument, method therefor, and program |
-
2015
- 2015-09-29 JP JP2015192098A patent/JP2017069713A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366252A (en) * | 2001-06-11 | 2002-12-20 | Kenwood Corp | System and method for controlling operation frequency, portable information processing terminal and program |
| JP2005278194A (en) * | 2004-03-25 | 2005-10-06 | Sony Corp | Image-decoding instrument, method therefor, and program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11842670B2 (en) | 2020-06-23 | 2023-12-12 | Samsung Electronics Co., Ltd. | Electronic device for dynamically adjusting refresh rate of display |
| CN114153408A (en) * | 2021-11-27 | 2022-03-08 | 深圳曦华科技有限公司 | Image display control method and related equipment |
| CN114153408B (en) * | 2021-11-27 | 2024-01-16 | 深圳曦华科技有限公司 | Image display control method and related equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9905199B2 (en) | Processor for use in dynamic refresh rate switching and related electronic device and method | |
| US10032430B2 (en) | Processor for use in dynamic refresh rate switching and related electronic device | |
| CN109074784B (en) | Display device, control method for display device, and recording medium for control program | |
| US8643658B2 (en) | Techniques for aligning frame data | |
| CN104932659B (en) | Image display method and display system | |
| WO2016093125A1 (en) | Display control device, display control method, and display control program | |
| CN107615369B (en) | Control device, display device, control method, and computer-readable storage medium | |
| US20140071141A1 (en) | Rendering settings in a multi-graphics processing unit system | |
| US9875517B2 (en) | Data processing method, data processing apparatus, and storage medium | |
| WO2023040593A1 (en) | Image data transmission method and apparatus, terminal and medium | |
| JP2017069713A (en) | Display control device, control method of the same, and display control program | |
| US20150279067A1 (en) | Command controller, method for controlling command, and integrated circuit | |
| CN108780348B (en) | Image transmission apparatus, image transmission system, and method of controlling image transmission apparatus | |
| US9836811B2 (en) | Memory control device, mobile terminal, and computer-readable recording medium for controlling writing and reading of data to frame memory | |
| CN110992862A (en) | Method for performing display control on electronic device, main processor and display panel | |
| CN111405362B (en) | Video output method, video output device, video equipment and computer readable storage medium | |
| WO2018058368A1 (en) | System performance improvement method, system performance improvement device and display device | |
| TWI687910B (en) | Low power consumption display control method, display control device and information processing device | |
| US10212316B2 (en) | Video processing apparatus | |
| US6774918B1 (en) | Video overlay processor with reduced memory and bus performance requirements | |
| US10896660B2 (en) | Display control device, display device, and display control method | |
| CN112675535A (en) | Display interface adjusting method and device, network equipment and storage medium | |
| JP2017067960A (en) | Display controller, method for controlling display controller, and display control program | |
| WO2017038309A1 (en) | Transfer control device, terminal device, and transfer control method | |
| JP6102342B2 (en) | Image processing device, display device, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190709 |