JP2011133649A - 画像表示制御装置 - Google Patents

画像表示制御装置 Download PDF

Info

Publication number
JP2011133649A
JP2011133649A JP2009292848A JP2009292848A JP2011133649A JP 2011133649 A JP2011133649 A JP 2011133649A JP 2009292848 A JP2009292848 A JP 2009292848A JP 2009292848 A JP2009292848 A JP 2009292848A JP 2011133649 A JP2011133649 A JP 2011133649A
Authority
JP
Japan
Prior art keywords
image data
circuit
plane
synthesis
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009292848A
Other languages
English (en)
Inventor
Mitsutoshi Nagata
光俊 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009292848A priority Critical patent/JP2011133649A/ja
Priority to US12/975,446 priority patent/US8717385B2/en
Publication of JP2011133649A publication Critical patent/JP2011133649A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】マルチレイヤ合成技術を用いた画像表示制御装置において、表示画像の切り替えをスムースに行う際、処理負荷およびメモリバンドの負荷を低減する。
【解決手段】複数のプレーン22a〜22cに元画像データ用のレイヤを格納し、格納したレイヤを合成回路13d、13eで合成して元画像データを作成して付加プレーン22dに記録し、続いて、複数のプレーン22a〜22cに差し替え画像データ用のレイヤを格納し、差し替え画像データ用のレイヤと付加プレーン22dに記録された元画像データとを、同期して繰り返し合成回路13d、13eに入力させ、その繰り返し入力の際、フレーム毎に元画像データと差し替え画像データとの合成の態様を徐々に変化させつつ、元画像データから差し替え画像データへと画像表示装置の表示内容を切り替える。
【選択図】図2

Description

本発明は、画像表示制御装置に関するものである。
従来、画像表示制御装置において、1枚の画像を表示するために、複数個のプレーン(記憶領域)を用意し、複数枚の画像データ(以下、レイヤという)のそれぞれをこれらプレーンに格納し、格納したレイヤをプレーン合成部で合成することで1つの画像データを作成し、作成した画像データを画像表示装置に出力するマルチレイヤ合成技術が知られている(例えば、特許文献1〜3参照)。
特開2008―26450号公報 特開平9―266551号公報 特開平7―73278号公報
本発明者は、このようなマルチレイヤ合成技術を用いた画像表示制御装置において、あるシーンから別のシーンへの表示画像の切り替えをスムースに行うことを検討した。スムース切り替えの例としては、クロスフェード(オーバーラップともいう)およびリサイズがある。クロスフェードでは、図9に示すように、元画像45のブレンド比率(表示の濃度)を徐々に減少させると共に差し替え画像46のブレンド比率を徐々に増大させることで、元画像45から差し替え画像46まで、混合画像47を経て表示を変化させる。リサイズでは、図10に示すように、表示画面中の元画像45を縮めて存在範囲を徐々に狭くさせると共に差し替え画像46を拡大して存在範囲を徐々に増大させることで、元画像45から差し替え画像46まで、複数の左右コマ割り画像48、49を経て表示を変化させる。
しかし、このようなスムース切り替えを行うためには、スムース切り替え中の各フレームで、元画像データ用のN個のレイヤを作成してプレーンに格納すると共に、差し替え画像データ用のK個のレイヤを作成してプレーンに格納しなければならず、そのための処理負荷およびメモリバンド負荷が膨大になってしまう。しかも、これら作成したレイヤの数(N+K個)が、プレーンの数を上回ってしまえば、プレーン合成部を使ってN+K個のすべてのレイヤの合成を行うこともできないので、あらかじめプレーン合成部を使うことなく合成済みのレイヤを作成しなければならなくなってしまい、処理負荷が更に増大してしまう。
本発明は上記点に鑑み、マルチレイヤ合成技術を用いた画像表示制御装置において、あるシーンから別のシーンへの表示画像の切り替えをスムースに行う際、処理負荷およびメモリバンド負荷を低減することを第1の目的とする。
また、本発明者は、このようなマルチレイヤ合成技術を用いた画像表示制御装置において、画像をスクロールさせることを検討した。しかし、複数のレイヤから合成した画像をスクロールさせる場合は、スクロールによって表示位置がずれる度に、新たにレイヤを作成してプレーンに格納しなければならず、処理負荷およびメモリバンドの負荷が増大する。
本発明は上記点に鑑み、マルチレイヤ合成技術を用いた画像表示制御装置において、スクロールを従来よりも低い処理負荷およびメモリバンド負荷で実現することを第2の目的とする。
また、従来、各種原因により、画像表示中にプレーン合成部を短時間リセットする場合がある。このような場合、合成部の出力が異常になってしまい、その結果、画像表示装置に異常な画像が短時間表示されるか、あるいは短時間何も表示されなくなってしまうことがあり、ユーザがそれを見て画像表示装置が故障しているのではないかと感じてしまう恐れがあった。
本発明は上記点に鑑み、マルチレイヤ合成技術を用いた画像表示制御装置において、合成部のリセット時に、画像表示装置が故障しているのではないかとユーザに感じさせてしまう可能性を低減することを第3の目的とする。
上記第1の目的を達成するための請求項1に記載の発明は、演算回路(21)と、記憶媒体(22)と、前記演算回路(21)によって生成される複数枚分のレイヤを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置(12)に出力するプレーン合成部(13)と、を備え、前記記憶媒体(22)は、その記憶領域の一部に、前記演算回路(21)によって生成されたレイヤを一時的に保持するための複数のプレーン(22a〜22c)を有し、前記プレーン合成部(13)は、複数のインターフェース部(13a〜13c)と、合成回路(13d、13e)と、を有し、前記複数のインターフェース部(13a〜13c)は、それぞれ、前記複数のプレーン(22a〜22c)のうち対応するプレーンに格納されたレイヤを前記合成回路(13d、13e)に出力し、前記合成回路(13d、13e)は、前記複数のインターフェース部(13a〜13c)の出力したレイヤを合成して前記表示用の画像データとして前記画像表示装置(12)に出力し、前記記憶媒体(22)は更に、その記憶領域の一部に、前記合成回路(13d、13e)が出力した画像データを保持するための付加プレーン(22d)を有し、当該画像表示制御装置は更に、前記付加プレーン(22d)に格納された画像データを前記合成部(13d、13e)に出力するループバック回路(10c、10d、10e)を備え、前記演算回路(21)は、前記画像表示装置(12)の表示画像の切り替えを行う際に、前記複数のプレーン(22a〜22c)のうち複数に元画像データ(55)用のレイヤを格納し、それら格納したレイヤを前記合成回路(13d、13e)で合成して前記元画像データ(55)を作成するよう、前記合成回路(13d、13e)を制御し、その結果前記合成回路(13d、13e)で合成された前記元画像データ(55)を前記付加プレーン(22d)に記録させ、続いて、前記複数のプレーン(22a〜22c)のうち複数に差し替え画像データ用のレイヤ(51〜53)を格納し、格納された前記差し替え画像データ用のレイヤ(51〜53)と前記付加プレーン(22d)に記録された前記元画像データ(55)とを、同期して繰り返し前記合成回路(13d、13e)に入力させるよう、前記複数のインターフェース部(13a〜13c)および前記ループバック回路(10c、10d、10e)を制御し、また、格納された前記差し替え画像データ用のレイヤ(51〜53)を前記合成回路(13d、13e)で合成して差し替え画像データ(54)を作成するよう、前記合成回路(13d、13e)を制御し、前記差し替え画像データ用のレイヤ(51〜53)と前記元画像データ(55)の前記合成回路(13d、13e)への繰り返し入力の際、フレームの進行と共に前記元画像データ(55)と前記差し替え画像データ(54)との合成の態様を徐々に変化させつつ、前記元画像データ(55)から前記差し替え画像データ(54)へと前記画像表示装置(12)の表示内容(56)を切り替えるよう、前記合成回路(13d、13e)を制御することを特徴とする画像表示制御装置である。
このように、画像表示制御装置は、切り替え時に、合成された元画像データを付加プレーン(22d)に記録させ、付加プレーン(22d)からループバック回路(10c、10d)を経て合成回路(13d、13e)に再度入力させることで、すなわち、元画像データをループバックさせることで、元画像データをレイヤから再合成する必要がなくなる。そしてその結果、プレーン(22a〜22c)の少なくとも一部が空いた状態になるので、その空いたプレーンを用いて複数レイヤを用いた複雑な差し替え画像を合成することができる。
また、この切り替えには、複数フレーム(例えば、2秒分の120フレーム)の表示を要するが、その間、各プレーン(22a〜22c)にレイヤが読み込まれるのは、元画像データ用のレイヤを読み込むときと、差し替え画像データ用のレイヤを読み込むときの2回である。
したがって、元画像データ(55)と差し替え画像データ用レイヤ(51〜53)のループ出力時には、プレーン(22a〜22c)の内容は、差し替え画像データ用のレイヤ(51〜53)が格納されたまま変化しない。したがって、メモリバンドの負荷が低減される。しかも、演算回路(21)は、切り替えのために新たな画像を生成する必要がないので、演算回路(21)の処理負荷も低減される。
また、第2の目的を達成するための請求項2に記載の発明は、演算回路(21)と、
記憶媒体(22)と、前記演算回路(21)によって生成される複数枚分のレイヤを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置(12)に出力するプレーン合成部(13)と、を備え、前記記憶媒体(22)は、その記憶領域の一部に、前記演算回路(21)によって生成されたレイヤを一時的に保持するための複数のプレーン(22a〜22c)を有し、前記プレーン合成部(13)は、複数のインターフェース部(13a〜13c)と、合成回路(13d、13e)と、を有し、前記複数のインターフェース部(13a〜13c)は、それぞれ、前記複数のプレーン(22a〜22c)のうち対応するプレーンに格納されたレイヤを前記合成回路(13d、13e)に出力し、前記合成回路(13d、13e)は、前記複数のインターフェース部(13a〜13c)の出力したレイヤを合成して前記表示用の画像データとして前記画像表示装置(12)に出力し、前記記憶媒体(22)は更に、その記憶領域の一部に、前記合成回路(13d、13e)が出力した画像データを保持するための付加プレーン(22d)を有し、当該画像表示制御装置は更に、前記付加プレーン(22d)に格納された画像データを前記合成部(13d、13e)に出力するループバック回路(10c、10d、10e)を備え、前記演算回路(21)は、前記画像表示装置(12)の表示画像の切り替えを行う際に、前記複数のプレーン(22a〜22c)のうち複数に元画像データ用のレイヤを格納し、それら格納したレイヤを前記合成回路(13d、13e)で合成して前記元画像データを作成するよう、前記合成回路(13d、13e)を制御し、
その結果前記合成回路(13d、13e)で合成された前記元画像データが前記付加プレーン(22d)に記録されるよう制御し、前記付加プレーン(22d)に記録された前記元画像データを、繰り返し前記合成回路(13d、13e)に入力させるよう、前記ループバック回路(10c、10d、10e)を制御し、その繰り返しの際、前記付加プレーン(22d)に記録された前記元画像データの読み出しアドレスを、ユーザのスクロール操作に応じて変更することで、オーバースキャン状態の前記画像表示装置(12)における前記元画像データの表示範囲をスクロールさせることを特徴とする画像表示制御装置である。
このようになっていることで、演算回路(21)は、スクロール操作の度に新たな画像を生成してプレーン(22a〜22c)に格納する必要がないので、記憶媒体(22)のメモリバンドの負荷が低減されると共に、演算回路(21)の処理負荷も低減される。
また、請求項3に記載の発明は、請求項2に記載の画像表示制御装置において、前記演算回路(21)は、前記元画像データがループバック回路(10c、10d、10e)から繰り返し出力されている間、前記元画像データとは表示対象範囲がずれた画像データのレイヤを前もって前記複数のプレーン(22a〜22c)のいずれかに格納しておき、前記画像表示装置(12)における表示範囲が前記元画像データの範囲を越える直前に、前もって前記プレーン(22a〜22c)に格納した前記レイヤを前記合成回路(13d、13e)で合成した新たな画像データが、前記付加プレーン(22d)に記録されるよう制御し、前記付加プレーン(22d)に記録された前記新たな画像データを、繰り返し前記合成回路(13d、13e)に入力させるよう、前記ループバック回路(10c、10d、10e)を制御し、その繰り返しの際、前記付加プレーン(22d)に記録された前記新たな画像データの読み出しアドレスを、ユーザのスクロール操作に応じて変更することで、オーバースキャン状態の前記画像表示装置(12)における前記新たな画像データの表示範囲をスクロールさせることを特徴とする。
このようにすれば、元画像データのスクロール中に前もってプレーン(22a〜22c)に格納したレイヤを合成回路(13d、13e)で合成した新たな画像を用いて、スクロール処理を迅速に継続することができる。
また、第3の目的を達成するための請求項4に記載の発明は、演算回路(21)と、記憶媒体(22)と、前記演算回路(21)によって生成される複数枚分のレイヤを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置(12)に出力するプレーン合成部(13)と、を備え、前記記憶媒体(22)は、その記憶領域の一部に、前記演算回路(21)によって生成されたレイヤを一時的に保持するための複数のプレーン(22a〜22c)を有し、前記プレーン合成部(13)は、複数のインターフェース部(13a〜13c)と、合成回路(13d、13e)と、を有し、前記複数のインターフェース部(13a〜13c)は、それぞれ、前記複数のプレーン(22a〜22c)のうち対応するプレーンに格納されたレイヤを前記合成回路(13d、13e)に出力し、前記合成回路(13d、13e)は、前記複数のインターフェース部(13a〜13c)の出力したレイヤを合成して前記表示用の画像データとして前記画像表示装置(12)に出力し、前記記憶媒体(22)は更に、その記憶領域の一部に、前記合成回路(13d、13e)が出力した画像データを保持するための付加プレーン(22d)を有し、当該画像表示制御装置は更に、前記付加プレーン(22d)に格納された画像データを前記合成部(13d、13e)に出力するループバック回路(10c、10d、10e)を備え、前記演算回路(21)は、前記プレーン合成部(13)がリセットを行う前に、前記合成回路(13d、13e)から出力された前記画像データが、リセット時用画像データとして前記付加プレーン(22d)に記録されるよう制御し、続いて、前記付加プレーン(22d)に記録された前記リセット時画像データを前記ループバック回路(10c、10d、10e)が繰り返し出力し始めるよう、前記ループバック回路(10c、10d、10e)を制御すると共に、前記合成回路(13d、13e)を制御することで、前記合成回路(13d、13e)が前記ループバック回路(10c、10d、10e)からの出力を前記画像表示装置(12)に出力するように切り替え、続いて、前記プレーン合成部(13)をリセットさせることを特徴とする画像表示制御装置である。
このように、プレーン合成部(13)のリセット直前に合成回路(13d、13e)を切り替えてループバック回路(10c、10d、10e)からの信号を画像表示装置(12)に出力するように制御するので、インターフェース部(13a〜13c)の出力が画像表示装置(12)に入力されることはない。
そして、このリセット中においては、ループバック回路(10c、10d、10e)がリセット時画像データを繰り返し付加プレーン(22d)から読み出して合成回路(13d、13e)に出力する。
したがって、合成回路(13d、13e)は、繰り返しリセット時画像データを画像表示装置(12)に出力することになる。その結果、画像表示装置(12)は、プレーン合成部(13)のリセット中、常にリセット時画像データを表示する。このリセット時画像データは、リセット前のフレームにおいて画像表示装置(12)に出力されていた画像データなので、ユーザからみれば、プレーン合成部(13)のリセット中にはそれまで表示されていた画像が継続して表示されているように見える。したがって、それを見たユーザが違和感を覚える可能性は低く、それゆえ、画像表示装置(12)が故障しているのではないかと感じてしまう可能性を低減することができる。
また、請求項5に記載の発明は、請求項1ないし4のいずれか1つに記載の画像表示制御装置において、映像出力機器から出力された映像信号の入力を受け、受けた映像信号に応じた画像データを前記プレーン合成部(13)に出力するビデオキャプチャ部(10)を備え、前記ループバック回路(10c、10d、10e)は、前記ビデオキャプチャ部(10)に備えられ、前記ビデオキャプチャ部(10)が受けた映像信号に応じた画像データを前記プレーン合成部(13)に出力する機能を兼ね備えていることを特徴とする。
このようになっていることで、切り替え時およびスクロール時には、合成回路(13d、13e)で合成されて付加プレーン(22d)に記録されたた元画像データをビデオキャプチャ部(10)から合成回路(13d、13e)に再度入力させることで、すなわち、空いているビデオキャプチャ部(10)を用いて元画像データをループバックさせることで、元画像データをレイヤから再合成する必要がなくなる。つまり、空いているビデオキャプチャ部(10)を有効活用することができる。また、リセット時にも、同様に、空いているビデオキャプチャ部(10)を有効活用することができる。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
本発明の第1実施形態に係る車両用ナビゲーション装置1の構成図である。 ビデオキャプチャ部10、プレーン合成部13、およびRAM22の構成を示す図である。 拡大縮小部による画像31の縮小処理を例示する図である。 第1合成部による画像35〜37の合成例を示す図である。 第1合成部による画像34〜37の合成例を示す図である。 オーバースキャンの状態を示す図である。 CPU21が表示画像の切り替えを行うために実行する切り替え処理のフローチャートである。 CPU21が表示画像の切り替えを行うために実行する切り替え処理のフローチャートである。 クロスフェードの例を示す図である。 リサイズの例を示す図である。 リサイズ時のブレンド比率αの分布と縮小率βとの関係を示す図である。 スムース切り替え時の画像合成を示す図である。 第2実施形態におけるスクロール処理のフローチャートである。 スクロール処理のフローチャートである。 画像データ60の表示範囲61、62を示す図である。 第3実施形態におけるリセット処理のフローチャートである。
(第1実施形態)
以下、本発明の第1実施形態について説明する。図1に、本実施形態に係る車両用ナビゲーション装置1の構成を示す。この車両用ナビゲーション装置1は、車両に搭載され、ビデオキャプチャ部10、位置検出器11、画像表示装置12、プレーン合成部13、操作部14、無線通信部15、地図データ取得部16、および制御部17を備えている。
ビデオキャプチャ部10は、図示しない車載カメラ、動画再生装置等の車載の映像出力機器から出力されたアナログ映像信号の入力を受け、受けた映像信号に応じた画像データをプレーン合成部13に出力する回路である。また、ビデオキャプチャ部10は、プレーン合成部13から画像表示装置12に出力された画像データを取得して記録し、その記録した画像データをプレーン合成部13に出力することもできる。
位置検出器11は、いずれも周知の図示しない加速度センサ、地磁気センサ、ジャイロセンサ、車速センサ、およびGPS受信機等のセンサを有しており、これらセンサの各々の性質に基づいた、車両の現在位置、向き、および速度を特定するための情報を制御部17に出力する。
画像表示装置12は、プレーン合成部13から出力される画像データに従って、画面に画像を表示する装置である。
プレーン合成部13は、制御部17によって生成される複数枚分の画像データを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置12に出力する回路である。合成される一枚の画像データを、レイヤという。レイヤは、制御部17によって生成されるか、あるいは、ビデオキャプチャ部10から出力される。
操作部14は、ユーザの操作を直接受け付け、受け付けた操作の内容に応じた信号を制御部17に出力する。
無線通信部15は、車外の基地局(無線LANアクセスポイント、携帯電話機のデータ通信網の基地局等)と無線接続することで、基地局を介して広域ネットワーク(例えばインターネット)上の機器(例えばWebサーバ)から各種情報を受信して制御部17に出力する周知の通信機である。
地図データ取得部16は、DVD、CD、HDD等の不揮発性の記憶媒体およびそれら記憶媒体に対してデータの読み出し(および可能ならば書き込み)を行う装置から成る。当該記憶媒体は、制御部17が実行するプログラム、地図表示用の周知の地図データ等を記憶している。
制御部(コンピュータに相当する)17は、CPU21、RAM22、ROM23等を有するマイコンである。CPU21(演算回路の一例に相当する)は、ROM23から読み出した車両用ナビゲーション装置1の動作のためのプログラムを実行し、その実行の際にはRAM22、ROM23、および地図データ取得部16から情報を読み出し、RAM21および(可能であれば)地図データ取得部16の記憶媒体に対して情報の書き込みを行い、位置検出器11、操作部13、無線通信部15から信号を受け取り、ビデオキャプチャ部10、プレーン合成部13、無線通信部15を制御する。
CPU21がプログラムを実行することによって行う具体的な処理としては、現在位置特定処理、誘導経路算出処理、経路案内処理、表示制御処理等がある。
現在位置特定処理は、位置検出器11からの信号に基づいて、周知のマップマッチング等の技術を用いて車両の現在位置や向きを特定する処理である。誘導経路算出処理は、操作部13からユーザによる目的地の入力を受け付け、現在位置から当該目的地までの最適な誘導経路を算出する処理である。経路案内処理は、誘導経路上の右左折交差点等の案内ポイントの手前に自車両が到達したときに、右折、左折等を指示する案内音声をスピーカ14に出力させることで、誘導経路に沿った車両の運転を案内する処理である。
表示制御処理は、各種画像を画像表示装置12の表示画面に表示させるために、ビデオキャプチャ部10、プレーン合成部13等を制御する処理である。この表示制御処理によって表示させる画像は、地図画像、メニュー画像等がある。CPU21は、ユーザの操作部14に対する操作、自車両の現在位置、経路案内処理の状況等に応じて、どのような画像を画像表示装置12に表示させるかを決定する。
例えば、経路案内処理中は、車両の現在位置の周辺等の特定の領域の地図を、画像表示装置12に表示させる。そして、メニュー表示用の操作が操作部14に対して行われた場合は、表示する画像を地図からメニュー画像に切り替える。メニュー画像とは、CPU21が実行する処理を選択させるためのユーザ操作可能なボタンアイコン、CPU21の作動の各種設定パラメータを調整させるためのユーザ操作可能なボタンアイコン等を含む画像である。
CPU21の画像表示制御処理の内容を説明するため、図2に、ビデオキャプチャ部10、プレーン合成部13、およびRAM22の詳細な構成を示す。ビデオキャプチャ部10は、デコーダ10a、フォーマット変換部10b、拡大縮小部10c、映像調整部10d、およびメモリコントローラ10eを有している。これらビデオキャプチャ部10の各部10a〜10eは、CPU21の制御に従って作動する。
デコーダ10aは、車載カメラ、動画再生装置等の映像出力機器から出力されたアナログ映像信号を、デジタル画像データに変換してフォーマット変換部10bに出力する装置である。
フォーマット変換部10bは、デコーダ10aまたはプレーン合成部13から受けた画像データに対して所定のフォーマット変換(例えば、RGB形式からYUV422形式への変換、YUV444形式からRGB形式への変換等)を施し、そのフォーマット変換後の画像データをRAM22に記録するかあるいは拡大縮小部10cに出力する装置である。
拡大縮小部10cは、フォーマット変換部10bから受けた画像データまたはRAM22から読み出した画像データに対して、CPU21によって必要に応じて定められた拡大処理または縮小処理を施し、その拡大処理または縮小処理を施した結果の画像データを映像調整部10dに出力する装置である。
ここで、拡大縮小部10cの縮小処理について、図3を用いて説明する。拡大縮小部10cは、CPU21から左方向(または右方向)に縮小率q(ただし、0<q<1)で縮小する旨の命令を受けた場合、図3に示すように、元の画像データ31(データフォーマット変換部10bから受けた画像データまたはRAM22から読み出した画像データ)から、元の画像データ31(縦Vピクセル×横Hピクセル)と同じ縦横ピクセル数の画像データ32を生成する。
この画像データ32は、左側部分(または右側部分)に元画像データ31の横ピクセル数をq倍に縮めた(より正確にはqHを超えない最大の整数に縮めた)画像データ32a(縦Vピクセル×横Iピクセル)と、残りの右側部分(または左側部分)の画像データ32b(縦Vピクセル×横H−Iピクセル)とから成る。なお、画像データ32bの内容は、どのようなものでもよい。例えば、全面黒色でもよいし、全面白色でもよい。
映像調整部10dは、拡大縮小部10cから受けた画像データに対し、画像データのレベル変換であるオフセット処理、ゲイン処理、画質調整等の付加的処理を行い、その付加的処理の結果の画像データをプレーン合成部13の第1合成回路13dおよび第2合成回路13eに出力する。
メモリコントローラ10eは、CPU21の制御に従って、フォーマット変換部10bから受けた画像データをRAM22に記録し、あるいは、RAM22に記録されている画像データを、拡大縮小部10cに出力する装置である。
なお、ビデオキャプチャ部10においては、デコーダ10aの動作クロック周波数は、拡大縮小部10c、映像調整部10dの動作クロック周波数と異なっている場合がある。拡大縮小部10c、映像調整部10dは、プレーン合成部13と同じ動作クロック周波数で作動することで、ビデオキャプチャ部10とプレーン合成部13との作動のタイミングが同期する。
また、フォーマット変換部10bは、通常は、デコーダ10aと同じ動作クロック周波数でデコーダ10aから画像データを取得し、プレーン合成部13と同じ動作クロック周波数で画像データを出力する。しかし、後述するように、プレーン合成部13から画像データを取得する場合は、CPU21の制御により、プレーン合成部13と同じ動作クロック周波数でデコーダ10aから画像データを取得する。
RAM22は、その記憶領域の一部に、第1プレーン22a、第2プレーン22b、第3プレーン22cという3つのプレーンを有している。なお、プレーンの数は、3個以上(例えば8個)でもよい。これらプレーン22a〜22cは、それぞれ一枚のレイヤを一時的に保持するための記憶領域であり、プレーン合成部13の画像合成の際に用いられる。
さらにRAM22は、その記憶領域の一部に、付加プレーン22dを有している。この付加プレーン22dは、第2合成回路13eが出力してビデオキャプチャ部10に入力された画像データを保持するための記憶領域である。
プレーン合成部13は、第1拡大縮小部13a、第2拡大縮小部13b、第3拡大縮小部13c、第1合成回路13d、および第2合成回路13e、およびメモリコントローラ13fを有している。これらプレーン合成部13の各部13a〜10fは、CPU21の制御に従って作動する。
第1拡大縮小部13a、第2拡大縮小部13b、第3拡大縮小部13cは、それぞれ、第1プレーン22a、第2プレーン22b、第3プレーン22cから読み出されたデータに対して、CPU21によって定められた拡大処理または縮小処理を施し、その拡大処理または縮小処理を施した結果のレイヤを第1合成回路13dに出力する装置である。
なお、拡大縮小部13a〜13cは、プレーン22a〜22cの数と同じ数だけ設けられる。したがって、プレーンが4個以上設けられていれば、拡大縮小部も4個以上設けられる。拡大縮小部13a〜13cの縮小処理の内容は、図3で説明した拡大縮小部10cの縮小処理と同じである。
第1合成回路13dは、拡大縮小部13a〜13cの出力した画像データおよびビデオキャプチャ部10の映像調整部10dの出力したレイヤを受け、これら複数のレイヤをCPU21の制御に従った方法で合成し、合成後の画像データを第2合成回路13eに出力する。
図4に、第1合成回路13dによる画像データの合成例を示す。この例では、拡大縮小部13a〜13cがそれぞれプレーン22a〜22cから画像データ35〜37を読み出してそのまま拡大も縮小もせず第1合成回路13dに出力し、第1合成回路13dは、それら画像データ35〜37を合成した画像データ38を出力する。
なお、第1合成回路13dによる合成は、1画素ずつ行われる。つまり、第1合成回路13dは、あるタイミングにおいては、拡大縮小部13a〜13cから、それぞれ画像データ35〜37中の同じ位置にある画素の色データ(例えばRGBデータ)を取得し、それら取得した同じ位置の画素の色データを使った合成を行う。
ある1つの位置の画素の色データの合成方法としては、単純に色データの値を足し合わせる方法でもよいし、各画素の色データに重み付け係数を乗じたものを足し合わせる方法でもよいし、いずれか1つの色データのみを使用する方法を採用してもよい。
第2合成回路13eは、CPU21の制御によって切り替わるハードウェアスイッチ回路であり、通常は第1合成回路13dから出力された画像データをそのまま画像表示装置12に出力するようになっているが、後述するリセット時には、CPU21の制御により、映像調整部10dからの出力線が画像表示装置12への入力線に直接接続され、それにより、リセット中であっても映像調整部10dからの出力を画像表示装置12へ直接出力するようになる。なお、第2合成回路13eから画像表示装置12に出力される画像データは、同時にビデオキャプチャ部10のフォーマット変換部10bにも出力される。
図5に、第1合成回路13dによる画像データの別の合成例を示す。この例では、拡大縮小部13a〜13cは、それぞれプレーン22a〜22cから画像データ35〜37を読み出し、さらに当該画像データ35〜37を左方向に縮小率1/2で縮小した画像データ35a〜37aを生成し、生成した画像データ35a〜37aを第1合成回路13dに出力する。
また、ビデオキャプチャ部10においては、デコーダ10aが車載カメラから受けた撮影画像のアナログ映像信号をデジタル画像データに変換し、変換された画像データをフォーマット変換部10bが右方向に縮小率1/2で縮小して画像データ34を生成し、映像調整部10dがその画像データ34に各種調整を施して第1合成回路13dに出力する。この際、フォーマット変換部10bは、デコーダ10aと同じ動作クロック周波数で動作する。
そして第1合成回路13dは、これら画像データ34、35a〜37aを合成し、その合成結果の画像データ39を第2合成回路13eに出力する。合成の際、第1合成回路13dは、合成結果の画像データ39の中央より左側の各画素については、画像データ35a〜37aの当該画素を足し合わせたデータを採用し、合成結果の画像データ39の右側のデータとしては、画像データ34の当該画素のデータを採用する。
メモリコントローラ13fは、CPU21からの制御に従い、プレーン22a〜22cから拡大縮小部13a〜13cへのデータの読み出しアドレスおよび読み出しタイミングを制御する装置である。
なお、画像表示装置12は、第2合成回路13eから出力された画像データを、オーバースキャンの状態で表示する。オーバースキャンとは、図6に示すように、プレーン合成部13から画像表示装置12に出力される画像データ40のうち、画面端部近傍の部分を除いた中央部41のみの画素を、画像表示装置12の表示画面に実際に表示させる状態をいう。
このような構成および作動のビデオキャプチャ部10、プレーン合成部13、RAM22を制御することで、CPU21は、画像表示制御処理を実現する。例えば、地図とボタンとが合成された画像を表示させる場合、表示させたい地図の画像データおよびボタンの画像データをRAM22中のプレーン以外の領域に生成し、また、必要に応じてそれら地図の画像およびボタンの画像を変化させる。そして、フレームの進行と共に1フレーム毎に、地図の画像データを第1プレーン22aに格納すると共にボタンの画像データを第2プレーン22bに格納し、第1拡大縮小部13aおよび第2拡大縮小部13bに対して画像データを縮小も拡大もしないよう命令し、また、第1合成回路13dに対して、第1拡大縮小部13aおよび第2拡大縮小部13bの出力のみを足し合わせて画像データを生成するよう制御する。
また、画像表示制御処理においては、画像表示装置12の表示する画像をあるシーンから別のシーンへ切り替える場合がある。画像表示装置12の表示画像の切り替えを行う場面としては、例えば、ユーザの操作部14に対する操作に応じて、メニュー画像表示から地図画像表示へ、あるいは、地図画像表示からメニュー画像表示へと移行する場合がある。
このような画面切り替えの際、CPU21は、所定のプログラムを実行することで図7、図8に示すような切り替え処理を行う。この処理によって、表示画像の切り替えにおいて、画像表示装置12の表示内容が、切り替え前の元画像から切り替え後の差し替え画像まで、連続的に滑らかに変化するようになり、表示の面白みが向上する。以下、このような、連続的な表示画像の切り替えを、スムース切り替えという。
スムース切り替えの具体的手法としては、クロスフェード(オーバーラップともいう)およびリサイズがある。クロスフェードでは、図9に示すように、元画像45のブレンド比率(表示の濃度)を徐々に減少させると共に差し替え画像46のブレンド比率を徐々に増大させることで、元画像45から差し替え画像46まで、混合画像47を経て連続的に表示を変化させる。
リサイズでは、図10に示すように、表示画面中の元画像45を縮めて存在範囲を徐々に狭くさせると共に差し替え画像46を拡大して存在範囲を徐々に増大させることで、元画像45から差し替え画像46まで、左右コマ割り画像48、49を経て表示を変化させる。
以下、図7、図8の切り替え処理の処理内容について詳細に説明する。CPU21は、まずステップ110で、キャプチャ画像を表示しているか否かを判定する。より具体的には、現在ビデオキャプチャ部10が車載の映像出力機器からアナログ画像信号を受けており、受けたアナログ画像信号から生成された画像(キャプチャ画像)の画像データが(単独であるいは他の画像と合成されて)画像表示装置12に出力されているか否かを判定する。
この判定は、スムース切り替えが実行可能か否かを決めるための判定である。本実施形態では、ビデオキャプチャ部10がキャプチャ画像の表示に使用されていない場合に、ビデオキャプチャ部10の機能を利用してスムース切り替えを行っている。したがって、ビデオキャプチャ部10がキャプチャ画像の表示に使用されている場合は、スムース切り替えを行うことができない。
このため、CPU21は、ステップ110でキャプチャ画像を表示していると判定した場合、続いてステップ120を実行することで、スムース切り替えでない通常の画面切り替えを行う。つまり、あるフレームの画像データとしては、切り替え前の元画像データを採用し、当該フレームの次のフレームの画像データとしては、差し替え画像データを採用することで、瞬時かつ不連続に表示画像を切り替え、その後、切り替え処理を終了する。
またCPU21は、ステップ110でキャプチャ画像を表示していないと判定した場合、続いてステップ125で、ループバックモード設定を行う。具体的には、ビデオキャプチャ部10のフォーマット変換部10bの動作クロックを、プレーン合成部13と同じ動作クロックに切り替える。これによって、フォーマット変換部10bは、第2合成回路13eから出力された画像データを、第2合成回路13eによる出力タイミングと同期して取得することができる。
続いて、ステップ130〜140の処理のループを、nを1から1ずつ増大させてNになるまで(すなわちN回)繰り返し実行する。ここで、Nは、元画像データを生成するために使用するレイヤの数に等しくなっており、したがって、拡大縮小部13a〜13cの数以下の自然数となる。
当該ループの各回において、まずステップ130では、スムース切り替え前の元画像データを合成するためのn番目のレイヤのアドレスをメモリコントローラ13fに指示する。例えば、元画像データが図4の画像データ38である場合、画像データ35、36、37が、それぞれ1番目、2番目、3番目のレイヤに相当する。この指示を受けたメモリコントローラ13fは、RAM22中の指示されたアドレスから1フレーム分の画像データ(すなわちn番目のレイヤ)を読み出す。続いてCPU21は、ステップ135で、メモリコントローラ13fを制御して、読み出されたレイヤをRAM22中の第nプレーンに格納させる。
更にステップ140では、第nプレーンに格納されたレイヤを合成するための処理内容を、第n拡大縮小部(すなわち、拡大縮小部13a〜13cのうちn番目のもの)および第1合成回路13dに指示する。例えば、図4のようにして画像データ38を元画像とする場合は、第n拡大縮小部に対して、第nプレーンのレイヤを拡大も縮小もせずそのまま第1合成回路13dに出力するよう指示し、また、第1合成回路13dに対して、このレイヤと他のレイヤとを足し合わせるよう指示する。
このようなステップ130〜140の処理をN回繰り返すことで、プレーン22a〜22cのそれぞれに、元画像を合成するためのレイヤが格納され、また、拡大縮小部13a〜13cおよび第1合成回路13dでは、それらレイヤから元画像データを合成する準備が整う。
続いてステップ145では、ビデオキャプチャ部10に対し、元画像データの記録準備を行わせる。具体的には、メモリコントローラ10eに対して、所定の開始タイミングから所定の終了タイミングまでにフォーマット変換部10bが第2合成回路13eから受けた画像データを元画像データとしてRAM22の付加プレーン22dに記録するよう指示する。
ここで、開始タイミングは、第2合成回路13eが元画像データの出力を開始するタイミングであり、終了タイミングは、第2合成回路13eが元画像データの出力を終了するタイミングである。
続いてステップ150では、拡大縮小部13a〜13cおよび第1合成回路13dを制御することで、拡大縮小部13a〜13cによるレイヤの読み出しおよび出力を開始させると共に、第1合成回路13dによる合成および合成後の元画像データの出力を開始させる。これによって、拡大縮小部13a〜13cおよび第1合成回路13dは、ステップ140で指示された処理内容で作動し、その結果、元画像データを第2合成回路13eに出力する。そして第2合成回路13eは、受けた元画像データを画像表示装置12に出力すると同時にフォーマット変換部10bにも出力する。このとき、メモリコントローラ10eは、ステップ145で受けた指示に従って、フォーマット変換部10bが取得した元画像データを付加プレーン22dに記録する。
元画像データの出力および記録が終了すると、続いてCPU21は、ステップ155〜165の処理のループを、kを1から1ずつ増大させてKになるまで(すなわちK回)繰り返し実行する。ここで、Kは、差し替え画像データを生成するために使用するレイヤの数に等しくなっており、したがって、拡大縮小部13a〜13cの数以下の自然数となる。
ステップ155、160、165の処理内容は、それぞれステップ130、135、140の処理内容に対して元画像を差し替え画像に置き換えたものとなる。
このようなステップ155〜165の処理をK回繰り返すことで、プレーン22a〜22cのそれぞれに、差し替え画像を合成するためのレイヤが格納され、また、拡大縮小部13a〜13cおよび第1合成回路13dでは、それらレイヤから差し替え画像データを合成する準備が整う。
続いてステップ170(図8参照)では、ビデオキャプチャ部10と拡大縮小部13a〜13cとで同時に画像(元画像、差し替え画像)をループ出力し始めるよう、ビデオキャプチャ部10、拡大縮小部13a〜13cを制御する。
ここで、ループ出力とは、ビデオキャプチャ部10の場合、プレーン合成部13から取得して付加プレーン22dに記録した元画像データを繰り返し(すなわち、複数フレーム分連続して)映像調整部10dから第1合成回路13dに出力することをいい、拡大縮小部13a〜13cの場合、対応するプレーン22a〜22cに格納されている差し替え画像データを繰り返し(すなわち、複数フレーム分連続して)映像調整部10dに出力することをいう。
なお、ビデオキャプチャ部10が元画像データのループ出力をするよう制御する方法としては、ビデオキャプチャ部10のメモリコントローラ10eに対して、付加プレーン22d中の元画像を、繰り返し読み出して拡大縮小部10cに出力するよう命令する方法を採用する。このようにすることで、拡大縮小部10cは、読み出された元画像データをCPU21の指令に応じて縮小して(または縮小せず)映像調整部10dに出力し、映像調整部10dはその元画像データを第1合成回路13dに出力する。
このようなステップ170の制御により、映像調整部10dからは元画像データが、拡大縮小部13a〜13cからは差し替え画像データを合成するためのレイヤが、第1合成回路13dに同期して(つまり、同じ位置の画素が同時に第1合成回路13dに出力されるよう)繰り返し入力され始める。
そしてCPU21はループ出力の開始と同時に、スムース切り替えとしてクロスフェードとリサイズのどちらを採用するかを判定し、クロスフェードを採用する場合は、ステップ180のループを1フレーム毎に実行し、リサイズを採用する場合は、ステップ185〜195のループを1フレーム毎に実行する。
なお、スムース切り替えとしてクロスフェードとリサイズのどちらを採用するかは、あらかじめユーザの操作部14を用いた設定操作に従って決定されていてもよいし、あるいは、擬似乱数を用いてランダムに決定されてもよい。
クロスフェードを採用する場合、ステップ180では、拡大縮小部13a〜13cから出力されて第1合成回路13dで合成される差し替え画像データと、ビデオキャプチャ部10から第1合成回路13dに入力される元画像データと、のブレンド比率αを、第1合成回路13dに指示する。
指示するブレンド比率αは、今回のステップ180の処理タイミングが、ステップ170を実行してから何フレーム目の画像データの出力タイミングであるかに基づいて決定する。具体的には、ある画素における、元画像データの色データの値をXとし、差し替え画像データの色データの値をYとすると、Z=αX+(1―α)Yが、合成後の画像データの当該画素における色データとなる。このブレンド比率αは、同一フレーム中においてはどの画素でも同じ値であるが、フレーム間では異なる。具体的には、ブレンド比率αは、今回のステップ180の処理タイミングが、ステップ170を実行してからtフレーム目の画像データの出力タイミングである場合、α=1―t/Jとなる。つまり、ブレンド比率αは、フレームの進行と共に徐々に減少していく。ただし、Jは、ステップ180のループの総繰り返し回数であり、あらかじめ定められた値である。Jの値が大きいほど、表示画像の切り替えが滑らかになる。
このような制御により、図9に例示したような元画像データから差し替え画像データへのクロスフェードが実現する。なお、ステップ180のループがJ回実行された後は、切り替え処理を終了し、その後は、通常の表示制御が継続される。
リサイズを採用する場合のステップ185では、ビデオキャプチャ部10の拡大縮小部10cに対して、フォーマット変換部10bから受けた元画像データを左方向に縮小率βで縮小するよう命令する。
そしてステップ190では、拡大縮小部13a〜13cのうち差し替え画像データを合成するために用いる拡大縮小部に対し、対応するプレーン22a〜22cから読み出したレイヤを右方向に縮小率1−βで縮小するよう命令する。
縮小率βは、今回のステップ190の処理タイミングが、ステップ170を実行してから何フレーム目の画像データの出力タイミングであるかに基づいて決定する。具体的には、縮小率βは、今回のステップ190の処理タイミングが、ステップ170を実行してからtフレーム目の画像データの出力タイミングである場合、β=1―t/Lとなる。つまり、縮小率βは、フレームの進行と共に徐々に減少していく。ただし、Lは、ステップ185〜196のループの総繰り返し回数であり、あらかじめ定められた値である。Lの値が大きいほど、表示画像の切り替えが滑らかになる。
続いてステップ195では、拡大縮小部13a〜13cから出力されて第1合成回路13dで合成される差し替え画像データと、ビデオキャプチャ部10から第1合成回路13dに入力される元画像データと、のブレンド比率αを、第1合成回路13dに指示する。ただし、この場合、ブレンド比率αは同一フレーム中の各画素で同一ではない。具体的には、図11に示すように、各フレームにおいては、そのフレームにおける縮小率βに応じて、合成画像データの横幅がHピクセルの場合、左端からβHピクセル以内の領域に対しては、ブレンド比率αを1(すなわち、元画像データのみを使用する)とし、それ以外の領域に対しては、ブレンド比率αを0(すなわち、差し替え画像データのみを使用する)とする。
このような制御により、図10に例示したような元画像データから差し替え画像データへのリサイズによるスムース切り替えが実現する。なお、ステップ185〜195のループがL回実行された後は、切り替え処理を終了し、その後は、通常の表示制御が継続される。
ここで、以上のような方法で行うスムース切り替えの利点について説明する。本実施形態のCPU21は、スムース切り替えの際、まず図4のように、プレーン22a〜22cのうち1つまたは複数(N個)に元画像データ用のレイヤを格納し(ステップ130、135参照)、それらレイヤを第1合成回路13dで合成して元画像データを作成するよう制御し(ステップ140参照)、その結果第1合成回路13dで合成された元画像データをビデオキャプチャ部10に出力させると共に、ビデオキャプチャ部10がその元画像データをRAM22に記録するように制御する(ステップ145、150参照)。
続いて、図12に示すように、プレーン22a〜22cのうち1つまたは複数(K個)に差し替え画像データ用のレイヤ51〜53を格納し(ステップ155、160参照)、それらレイヤを第1合成回路13dで合成して差し替え画像データ54を作成するよう制御する(ステップ165参照)。
そして、レイヤ51〜53と元画像データ55とを、同期して繰り返し第1合成回路13dに入力させ(ステップ170参照)、その繰り返し入力の際、フレーム毎にブレンド比率αおよび縮小比率βのいずれかまたは両方を変化させることで、元画像データ55と差し替え画像データ54との合成の態様を徐々に変化させつつ、元画像データ55から差し替え画像データ54へと画像表示装置12の表示内容56を切り替えることができる(ステップ180〜195参照)。
このように、スムース切り替え時に、合成された元画像データをビデオキャプチャ部10に記録させ、ビデオキャプチャ部10から第1合成回路13dに再度入力させることで、すなわち、空いているビデオキャプチャ部10を用いて元画像データをループバックさせることで、元画像データをレイヤから再合成する必要がなくなる。そしてその結果、プレーン22a〜22cが空いた状態になるので、その空いたプレーン22a〜22cを用いて複数レイヤを用いた複雑な差し替え画像を合成することができる。
また、このスムース切り替えには、複数フレーム(例えば、2秒分の120フレーム)の表示を要するが、その間、各プレーン22a〜22cにレイヤが読み込まれるのは、元画像データ用のレイヤを読み込むときと、差し替え画像データ用のレイヤを読み込むときの最大2回のみである。
したがって、元画像データ55と差し替え画像データ用レイヤ51〜53のループ出力時には、プレーン22a〜22cの内容は、差し替え画像データ用のレイヤ51〜53が格納されたまま変化しない。つまり、RAM22中のデータをプレーン22a〜22cに格納する必要がないので、RAM22からのデータ読み出し量が低減される。しかも、CPU21は、スムース切り替えのために新たな画像を生成する必要がないので、CPU21の処理負荷も低減される。
これに対し、従来は、第1合成回路13dで合成した元画像をビデオキャプチャ部10に戻して記憶させることがなかったので、本実施形態と同じようなスムース切り替えを行うためには、スムース切り替え中の各フレームで、元画像データ用のN個のレイヤを作成してプレーンに格納すると共に、差し替え画像データ用のK個のレイヤを作成してプレーンに格納しなければならず、CPU21の処理負荷が膨大になってしまう。しかも、これら作成したレイヤの数(N+K個)が、プレーン22a〜22cの数を上回ってしまえば、第1合成回路13dを使ってN+K個のすべてのレイヤの合成を行うこともできないので、あらかじめCPU21が第1合成回路13dを使うことなく合成済みのレイヤを作成しなければならなくなってしまい、CPU21の処理負荷が更に増大してしまう。本実施形態においては、空いているビデオキャプチャ部10の資源を利用することで、このような問題を解消することができる。
つまり、一旦合成により作り出した表示用の画像データをそのまま前段にあるビデオキャプチャ部10に戻し、プレーン22a〜22cから取得した画像データと同じように扱うことで、CPU21の処理負荷やRAM22のメモリバンドを節約することができる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態の車両用ナビゲーション装置1は、第1実施形態の作動に加え、画面のスクロールにも、ビデオキャプチャ部10を利用するようになっている。
具体的には、車両用ナビゲーション装置1のCPU21は、表示制御処理において、画像表示装置12の表示範囲(図6の表示範囲41に相当する)内に収まりきらない対象をユーザに表示する場合に、ビデオキャプチャ部10を利用してスクロール表示を行う。画像表示装置12の表示範囲内に収まりきらない対象をユーザに表示する場合としては、例えば、地図表示を行う場合、および、無線通信部15を用いてWebサーバから取得した情報を表示する場合、ビデオキャプチャ部10によるキャプチャ画像を表示する場合等がある。
このような場合、CPU21は、所定のプログラムを実行することで、図13、図14に示すスクロール処理を行う。なお、図13と図7とで同じ符号が付されたステップは、互いに同じ処理を行うようになっているので、それらの処理の説明は省略する。ただし、本実施形態においては、元画像データは、スクロールしてユーザに表示する画像データであり、差し替え画像データは、どのような画像データであってもよい。
CPU21は、ステップ110でキャプチャ画像を表示していると判定した場合、元画像をループバックするためにビデオキャプチャ部10を用いることができないので、スムーススクロールは行わず、ステップ210でキャプチャモードに設定を行う。具体的には、ビデオキャプチャ部10のフォーマット変換部10bの動作クロックを、デコーダ10aと同じ動作クロックに切り替える。これによって、フォーマット変換部10bは、デコーダ10aから出力された画像データを取得することができる。
続いてステップ220では、ビデオキャプチャ部10を制御して、車載の映像出力機器から受けた信号に基づくキャプチャ画像データを第1合成回路13dに出力させる。そしてステップ230では、第1合成回路13dを制御して、ビデオキャプチャ部10から受けたキャプチャ画像データを第1合成回路13dに出力させ、スクロール処理を終了させる。
またCPU21は、ステップ110でキャプチャ画像を表示していないと判定した場合、空いているビデオキャプチャ部10を利用してスムーススクロールを実行するために、ステップ125以降を実行する。すなわち、ステップ125でループバックモード設定を行い、ステップ130〜140のループでは、スクロール用の画像データである元画像データ用のレイヤを、プレーン22a〜22cのうち1つまたは複数(N個)のプレーンに格納し、それらレイヤを第1合成回路13dで合成して元画像データを作成するよう制御する。そして、ステップ145、150で、ビデオキャプチャ部10がその元画像データをRAM22の付加プレーン22dに記録するように制御する(ステップ145、150参照)。
続いて、ステップ155〜165のループでは、差し替え画像(本実施形態ではどのような画像でもよい)用のレイヤを、プレーン22a〜22cのうち1つまたは複数(K個)のプレーンに格納し、それらレイヤを第1合成回路13dで合成して元画像データを作成するよう制御する。
続いて、ステップ270(図14参照)では、ビデオキャプチャ部10が元画像データをループ出力し始めるよう、ビデオキャプチャ部10を制御する。制御の具体的方法は、第1実施形態と同じである。
続いてステップ275では、第1合成回路13dを制御して、ビデオキャプチャ部10からの元画像データのみを第2合成回路13eに出力するように制御する。これによって、ビデオキャプチャ部10から出力された元画像データが、第1合成回路13dおよび第2合成回路13eを経て画像表示装置12に出力される。
このとき、画像表示装置12では、第1実施形態で説明した通り、元画像をオーバースキャンの状態で表示する。すなわち、図6に示すように、元画像データ40のうち、画面端部近傍の部分を除いた中央部41のみの画素を、画像表示装置12の表示画面に実際に表示する。
続いてCPU21は、ステップ280のループを、1フレーム毎に1回表示する。ステップ280では、ユーザの操作部14に対するスクロール操作に従って、ビデオキャプチャ部10のメモリコントローラ10eを制御することで、付加プレーン22d中の元画像データの読み出し開始アドレスを変更する。
例えば、図15に示すように、ユーザが、元画像データ60中の現在表示している範囲61よりも右下の範囲62を見るためのスクロール操作を操作部14に対して行った場合について説明する。
元画像データは、マトリクス状に並ぶ画素の色データの記録方法として、ラスタスキャン的な記録方式を採用している。すなわち、マトリクス状に並ぶ画素の各行の画素の色データを列順に記録し、かつ、最終行を除く各行の最後の列の画素の色データに続いて、次の行の最初の列の画素の色データを格納するようになっている。また、元画像データ60の先頭アドレスから元画像データ60を読み出した場合は、元画像データ60の中央部61が表示されるようになっている。
したがって、元画像データ60の左上端の画素63のアドレスから、中央部61の左上端の画素64のアドレスまで、Sだけ離れている場合、画素65を左上とする範囲62を画像表示装置12に表示させたい場合は、その画素65が記録されているRAM22上のアドレスよりもSだけ前のアドレスを、元画像データの読み出し開始アドレスとすれば、そのような表示が実現する。
ステップ280のループが終了した後は、スクロール処理が終了する。なお、ステップ280のループの終了タイミングとしては、例えば、操作部14に対してユーザがスクロール終了の操作を行った場合に終了してもよいし、画像表示装置12における表示範囲が元画像データの範囲を越えたときに終了してもよい。
以上のようなスクロール処理を行うことで、CPU21は、一度プレーン22a〜22cのうち1つまたは複数(N個)のプレーンに元画像用のレイヤを格納して第1合成回路13dを用いて元画像データを合成するよう制御した(ステップ130〜140参照)後は、ビデオキャプチャ部10を制御してその元画像データを付加プレーン22dに記録させ(ステップ145、150参照)、ビデオキャプチャ部10から繰り返し元画像データを第1合成回路13dに出力させる(ステップ270参照)。そしてその繰り返し出力の際、記録させた元画像データの読み出しアドレスをユーザのスクロール操作に応じて変更することで、(ステップ280参照)、オーバースキャン状態の画像表示装置12における元画像データの表示範囲をスムースにスクロールさせることができる。
したがって、CPU21は、スクロール操作の度に新たな画像を生成してプレーン22a〜22cに格納する必要がないので、RAM22からのデータ読み出し量が低減されると共に、CPU21の処理負荷も低減される。
また、本実施形態のように、画像表示装置12の表示領域より大きなレイヤをプレーンに格納したとしても、現在のレイヤの範囲内でのスクロール中、それらのレイヤをプレーンに格納し続けなければならず、現在のレイヤの範囲を越える部分にまでスクロールする必要が発生した場合に初めて次のレイヤをプレーンに格納することになるので、新しいレイヤの格納が間に合わない可能性がある。
そこで、本実施形態では、このスクロール処理において、ビデオキャプチャ部10から元画像データがループ出力されている間は、プレーン22a〜22cは表示に使用されない点に着目し、次のような作動を行ってもよい。元画像データがループ出力されている間、すなわち、ユーザがスクロール操作を行っている間に、CPU21は、元画像データとは表示対象範囲がずれた画像データのレイヤを前もってプレーン22a〜22cのうちいずれか1つまたは複数に格納しておき、画像表示装置12における表示範囲が元画像データの範囲を越える直前に、ステップ280のループを終了し、再度ステップ145からスクロール処理を実行してもよい。このようにすれば、前もってプレーン22a〜22cに格納したレイヤを第1合成回路13dで合成した新たな画像を用いて、スクロール処理を迅速に継続することができる。
(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態の車両用ナビゲーション装置1は、第1実施形態の作動または第2実施形態の作動に加え、プレーン合成部13のリセット中に画像表示装置12の表示画面を正常に保つようになっている。
このような作動を実現するため、本実施形態のCPU21は、プレーン合成部13をリセットするために、図16に示すリセット処理を実行するようになっている。CPU21は、瞬間リセットの場合に、所定のプログラムを実行してこのリセット処理を実現する。
なお、このリセット処理の開始時、第2合成回路13eは通常通り、第1合成回路13dから出力された画像データをそのまま画像表示装置12に出力するようになっている。
リセット処理においてCPU21は、まずステップ310で、ビデオキャプチャ部10を制御して、第2合成回路13eが出力する画像データを、RAM22の付加プレーン22dに記録させる。
具体的には、ビデオキャプチャ部10のメモリコントローラ10eに対して、所定の開始タイミングから所定の終了タイミングまでにフォーマット変換部10bが第2合成回路13eから受けた画像データを、リセット時画像データとしてRAM22に記録するよう指示する。ここで、開始タイミングは、第2合成回路13eが次のフレームの画像データを出力し始めるタイミングであり、終了タイミングは、第2合成回路13eが当該次のフレームの画像データの出力を終了するタイミングである。このような制御により、メモリコントローラ10eは、当該次のフレームの画像データを、リセット時画像データとして付加プレーン22dに記録する。
リセット時画像データの記録が終了すると、CPU21は続いてステップ320で、ビデオキャプチャ部10がリセット時画像データを第1合成回路13dおよび第2合成回路13eにループ出力し始めるよう、ビデオキャプチャ部10を制御する。制御の具体的方法は、第1実施形態のステップ170の元画像データのループ出力と同じである。
続いてステップ325では、第2合成回路13eを制御することで、第2合成回路13eがビデオキャプチャ部10の映像調整部10dからの出力を画像表示装置12に直接出力するように切り替える。
続いてステップ330では、プレーン合成部13にリセット信号を出力することで、プレーン合成部13をリセットさせる。このリセット信号を受けたプレーン合成部13は、リセットを行う。リセット中は、拡大縮小部13a〜13c、メモリコントローラ13f、および第1合成回路13dは正常に作動しなくなる。したがって、仮にこのリセット中に第1合成回路13dから出力されたデータを第2合成回路13eがそのまま画像表示装置12に出力してしまうと、画像表示装置12cの表示内容は異常になってしまう。リセットの開始から終了までの期間は、典型的には数フレームから数十フレームに相当する期間となるので、この期間に画像表示装置12の表示内容が異常となると、ユーザがそれを見て画像表示装置12が故障しているのではないかと感じてしまう恐れがある。
本実施形態では、リセット直前に第2合成回路13eを切り替えて映像調整部10dからの信号をそのまま画像表示装置12に出力するように制御するので、拡大縮小部13a〜13cの出力が画像表示装置12に入力されることはない。
そして、このリセット中においては、メモリコントローラ10eがリセット時画像データを繰り返しRAM22から読み出して拡大縮小部10cに出力し、拡大縮小部10cが受けたリセット時画像データを繰り返し映像調整部10dに出力し、映像調整部10dは受けたリセット時画像データを第2合成回路13eに出力する。
したがって、第2合成回路13eは、繰り返しリセット時画像データを画像表示装置12に出力することになる。その結果、画像表示装置12は、プレーン合成部13のリセット中、常にリセット時画像データを表示する。続いてステップ340では、リセット終了後に画像表示装置12に表示させるための新規画像データのレイヤをRAM22中のプレーン以外の領域に生成する。
続いてCPU21は、ステップ330のリセット信号出力から所定時間が経過するのを待つ。所定時間は、プレーン合成部13のリセットの開始から終了までの時間より長い時間としてあらかじめ定められる。所定時間が経過した場合、続いてステップ350〜370の処理のループを、kを1から1ずつ増大させてKになるまで(すなわちK回)繰り返し実行する。ここで、Kは、新規画像データ画像データを生成するために使用するレイヤの数に等しくなっており、したがって、拡大縮小部13a〜13cの数以下の自然数となる。
ステップ350、360、370の処理内容は、それぞれ図7のステップ130、135、140の処理内容に対して元画像データを新規画像データに置き換えたものとなる。このようなステップ350〜370の処理をK回繰り返すことで、プレーン22a〜22cのそれぞれに、新規画像データを合成するためのレイヤが格納され、また、拡大縮小部13a〜13cおよび第1合成回路13dでは、それらレイヤから差し替え画像データを合成する準備が整う。
続いてステップ380では、ビデオキャプチャ部10のメモリコントローラ10eを制御して、ステップ320で開始したリセット時画像データのループ出力を停止させる。
そしてステップ390では、プレーン合成部13を制御して、新規画像データを画像表示装置12に出力させる。具体的には、拡大縮小部13a〜13cを制御して、拡大縮小部13a〜13cが対応するプレーン22a〜22c中の新規画像データのレイヤを読み出してプレーン合成部13に出力するようにする。また第1合成回路13dを制御して、第1合成回路13dが、拡大縮小部13a〜13cから出力された新規画像データのレイヤを合成し、合成結果の新規画像データを第2合成回路13eに出力するよう命令する。また第2合成回路13eを制御することで、第2合成回路13eが第1合成回路13dからの出力を画像表示装置12に直接出力するように切り替える。ステップ390の後、リセット処理は終了する。
このようになっていることで、本実施形態の車両用ナビゲーション装置1においては、プレーン合成部13がリセットしたとしても、リセット中にはリセット時画像データが画像表示装置12に出力され続ける。このリセット時画像データは、リセット直前のフレームにおいて画像表示装置12に出力されていた画像データなので、ユーザからみれば、プレーン合成部13のリセット中にはそれまで表示されていた画像が継続して表示されているように見える。したがって、それを見たユーザが違和感を覚える可能性は低く、それゆえ、画像表示装置12が故障しているのではないかと感じてしまう可能性を低減することができる。
なお、上記各実施形態では、第1合成回路13dおよび第2合成回路13eが、特許請求の範囲の合成回路の一例に相当する。また、拡大縮小部10c、映像調整部10d、メモリコントローラ10eが、ループバック回路の一例に相当する。
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
例えば、上記第各実施形態においては、第1合成回路13dで複数のレイヤから合成された元画像データをビデオキャプチャ部10に出力して記録させ、その後の複数フレームにおいて、記録された元画像データを繰り返しビデオキャプチャ部10から第1合成回路13dに戻すことで、再度元画像データをレイヤから構成する必要をなくしている。しかし、このように元画像をループバックする構成は、ビデオキャプチャ部10以外のもので実現してもよい。
例えば、1組のプレーンおよび拡大縮小部を、元画像データをループバックする構成として用いてもよい。具体的には、付加プレーン22dに対応した付加的な拡大縮小部を設け、プレーン22a〜22c中のレイヤから合成された元画像データを、第1合成回路13dから付加プレーン22dに格納し、さらに付加的な拡大縮小部を制御して、この付加的なプレーンから元画像データを読み出して(必要であれば縮小処理を施した上で)第1合成回路13dに出力させるようになっていればよい。このようにすることでも、再度元画像データをレイヤから構成する必要がなくなっているので、CPU21の処理負荷およびRAM22からのデータの読み出し量が低減される。
なお、第1、第2実施形態においては、付加的な拡大縮小部は、プレーン合成部13中にあってもよいしプレーン合成部13の外部にあってもよい。また、第3実施形態においては、付加的な拡大縮小部をプレーン合成部13の外部に設けることで、付加的な拡大縮小部がプレーン合成部13のリセットの影響を受けることなく作動できる。
また、上記実施形態においては、プレーン合成部13の縮小部13a〜13cは、それぞれ対応するプレーンプレーン22a〜22cに格納されたレイヤを読み出し、必要に応じて拡大、縮小処理を施した上で、当該レイヤを出力するようになっている。しかし、縮小部13a〜13cは、必ずしもレイヤを拡大、縮小する機能を備えていなくともよい。実際、縮小部13a〜13cがレイヤを拡大、縮小する機能を備えていなくとも、第1合成回路13dにおけるブレンド比率の制御を行うことで、クロスフェードによる画面切り替えは可能である。つまり、本発明においては、縮小部13a〜13cは、複数のプレーン22a〜22cのうち対応するプレーンに格納されたレイヤを合成回路13d、13eに出力するインターフェース部であればよく。インターフェース部は拡大、縮小の機能を持っていてもよいし持っていなくてもよい。
また同様に、ビデオキャプチャ部10の拡大縮小部10cも、画像データを拡大、縮小する機能を備えていなくとも、第1合成回路13dにおけるブレンド比率の制御を行うことで、クロスフェードによる画面切り替えは可能である。つまり、本発明においては、拡大縮小部10cは、付加プレーン22dに格納された画像データを合成部13d、13eに出力するループバック回路であればよい。ループバック回路は拡大、縮小の機能を持っていてもよいし持っていなくてもよい。
また、上記の実施形態において、CPU21がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア(例えば回路構成をプログラムすることが可能なFPGA)を用いて実現するようになっていてもよい。その場合、当該ハードウェアが演算回路の一例に相当する。
また、上記各実施形態では、本発明の画像表示制御装置の一例として、車両用ナビゲーション装置1を挙げている。しかし、本発明の画像表示制御装置は、必ずしも車載用のものでなくともよい。例えば、画像表示制御装置は、ユーザが携帯するタイプの装置(例えば携帯電話機)であってもよい。
1 車両用ナビゲーション装置
10 ビデオキャプチャ部
10a デコーダ
10b フォーマット変換部
10d 映像調整部
10e、13f メモリコントローラ
12 画像表示装置
13 プレーン合成部
10c、13a〜13c 拡大縮小部
13d 第1合成回路
13e 第2合成回路
21 CPU
22 RAM
22a〜22c プレーン
22d 付加プレーン

Claims (5)

  1. 演算回路(21)と、
    記憶媒体(22)と、
    前記演算回路(21)によって生成される複数枚分のレイヤを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置(12)に出力するプレーン合成部(13)と、を備え、
    前記記憶媒体(22)は、その記憶領域の一部に、前記演算回路(21)によって生成されたレイヤを一時的に保持するための複数のプレーン(22a〜22c)を有し、
    前記プレーン合成部(13)は、複数のインターフェース部(13a〜13c)と、合成回路(13d、13e)と、を有し、
    前記複数のインターフェース部(13a〜13c)は、それぞれ、前記複数のプレーン(22a〜22c)のうち対応するプレーンに格納されたレイヤを前記合成回路(13d、13e)に出力し、
    前記合成回路(13d、13e)は、前記複数のインターフェース部(13a〜13c)の出力したレイヤを合成して前記表示用の画像データとして前記画像表示装置(12)に出力し、
    前記記憶媒体(22)は更に、その記憶領域の一部に、前記合成回路(13d、13e)が出力した画像データを保持するための付加プレーン(22d)を有し、
    当該画像表示制御装置は更に、前記付加プレーン(22d)に格納された画像データを前記合成部(13d、13e)に出力するループバック回路(10c、10d、10e)を備え、
    前記演算回路(21)は、
    前記画像表示装置(12)の表示画像の切り替えを行う際に、前記複数のプレーン(22a〜22c)のうち複数に元画像データ(55)用のレイヤを格納し、
    それら格納したレイヤを前記合成回路(13d、13e)で合成して前記元画像データ(55)を作成するよう、前記合成回路(13d、13e)を制御し、
    その結果前記合成回路(13d、13e)で合成された前記元画像データ(55)を前記付加プレーン(22d)に記録させ、
    続いて、前記複数のプレーン(22a〜22c)のうち複数に差し替え画像データ用のレイヤ(51〜53)を格納し、
    格納された前記差し替え画像データ用のレイヤ(51〜53)と前記付加プレーン(22d)に記録された前記元画像データ(55)とを、同期して繰り返し前記合成回路(13d、13e)に入力させるよう、前記複数のインターフェース部(13a〜13c)および前記ループバック回路(10c、10d、10e)を制御し、また、格納された前記差し替え画像データ用のレイヤ(51〜53)を前記合成回路(13d、13e)で合成して差し替え画像データ(54)を作成するよう、前記合成回路(13d、13e)を制御し、
    前記差し替え画像データ用のレイヤ(51〜53)と前記元画像データ(55)の前記合成回路(13d、13e)への繰り返し入力の際、フレームの進行と共に前記元画像データ(55)と前記差し替え画像データ(54)との合成の態様を徐々に変化させつつ、前記元画像データ(55)から前記差し替え画像データ(54)へと前記画像表示装置(12)の表示内容(56)を切り替えるよう、前記合成回路(13d、13e)を制御することを特徴とする画像表示制御装置。
  2. 演算回路(21)と、
    記憶媒体(22)と、
    前記演算回路(21)によって生成される複数枚分のレイヤを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置(12)に出力するプレーン合成部(13)と、を備え、
    前記記憶媒体(22)は、その記憶領域の一部に、前記演算回路(21)によって生成されたレイヤを一時的に保持するための複数のプレーン(22a〜22c)を有し、
    前記プレーン合成部(13)は、複数のインターフェース部(13a〜13c)と、合成回路(13d、13e)と、を有し、
    前記複数のインターフェース部(13a〜13c)は、それぞれ、前記複数のプレーン(22a〜22c)のうち対応するプレーンに格納されたレイヤを前記合成回路(13d、13e)に出力し、
    前記合成回路(13d、13e)は、前記複数のインターフェース部(13a〜13c)の出力したレイヤを合成して前記表示用の画像データとして前記画像表示装置(12)に出力し、
    前記記憶媒体(22)は更に、その記憶領域の一部に、前記合成回路(13d、13e)が出力した画像データを保持するための付加プレーン(22d)を有し、
    当該画像表示制御装置は更に、前記付加プレーン(22d)に格納された画像データを前記合成部(13d、13e)に出力するループバック回路(10c、10d、10e)を備え、
    前記演算回路(21)は、
    前記画像表示装置(12)の表示画像の切り替えを行う際に、前記複数のプレーン(22a〜22c)のうち複数に元画像データ用のレイヤを格納し、
    それら格納したレイヤを前記合成回路(13d、13e)で合成して前記元画像データを作成するよう、前記合成回路(13d、13e)を制御し、
    その結果前記合成回路(13d、13e)で合成された前記元画像データが前記付加プレーン(22d)に記録されるよう制御し、
    前記付加プレーン(22d)に記録された前記元画像データを、繰り返し前記合成回路(13d、13e)に入力させるよう、前記ループバック回路(10c、10d、10e)を制御し、
    その繰り返しの際、前記付加プレーン(22d)に記録された前記元画像データの読み出しアドレスを、ユーザのスクロール操作に応じて変更することで、オーバースキャン状態の前記画像表示装置(12)における前記元画像データの表示範囲をスクロールさせることを特徴とする画像表示制御装置。
  3. 前記演算回路(21)は、前記元画像データがループバック回路(10c、10d、10e)から繰り返し出力されている間、前記元画像データとは表示対象範囲がずれた画像データのレイヤを前もって前記複数のプレーン(22a〜22c)のいずれかに格納しておき、前記画像表示装置(12)における表示範囲が前記元画像データの範囲を越える直前に、前もって前記プレーン(22a〜22c)に格納した前記レイヤを前記合成回路(13d、13e)で合成した新たな画像データが、前記付加プレーン(22d)に記録されるよう制御し、前記付加プレーン(22d)に記録された前記新たな画像データを、繰り返し前記合成回路(13d、13e)に入力させるよう、前記ループバック回路(10c、10d、10e)を制御し、その繰り返しの際、前記付加プレーン(22d)に記録された前記新たな画像データの読み出しアドレスを、ユーザのスクロール操作に応じて変更することで、オーバースキャン状態の前記画像表示装置(12)における前記新たな画像データの表示範囲をスクロールさせることを特徴とする請求項2に記載の画像表示制御装置。
  4. 演算回路(21)と、
    記憶媒体(22)と、
    前記演算回路(21)によって生成される複数枚分のレイヤを必要に応じて合成し、その合成結果の画像データを、表示用の画像データとして画像表示装置(12)に出力するプレーン合成部(13)と、を備え、
    前記記憶媒体(22)は、その記憶領域の一部に、前記演算回路(21)によって生成されたレイヤを一時的に保持するための複数のプレーン(22a〜22c)を有し、
    前記プレーン合成部(13)は、複数のインターフェース部(13a〜13c)と、合成回路(13d、13e)と、を有し、
    前記複数のインターフェース部(13a〜13c)は、それぞれ、前記複数のプレーン(22a〜22c)のうち対応するプレーンに格納されたレイヤを前記合成回路(13d、13e)に出力し、
    前記合成回路(13d、13e)は、前記複数のインターフェース部(13a〜13c)の出力したレイヤを合成して前記表示用の画像データとして前記画像表示装置(12)に出力し、
    前記記憶媒体(22)は更に、その記憶領域の一部に、前記合成回路(13d、13e)が出力した画像データを保持するための付加プレーン(22d)を有し、
    当該画像表示制御装置は更に、前記付加プレーン(22d)に格納された画像データを前記合成部(13d、13e)に出力するループバック回路(10c、10d、10e)を備え、
    前記演算回路(21)は、
    前記プレーン合成部(13)がリセットを行う前に、前記合成回路(13d、13e)から出力された前記画像データが、リセット時用画像データとして前記付加プレーン(22d)に記録されるよう制御し、
    続いて、前記付加プレーン(22d)に記録された前記リセット時画像データを前記ループバック回路(10c、10d、10e)が繰り返し出力し始めるよう、前記ループバック回路(10c、10d、10e)を制御すると共に、前記合成回路(13d、13e)を制御することで、前記合成回路(13d、13e)が前記ループバック回路(10c、10d、10e)からの出力を前記画像表示装置(12)に出力するように切り替え、
    続いて、前記プレーン合成部(13)をリセットさせることを特徴とする画像表示制御装置。
  5. 映像出力機器から出力された映像信号の入力を受け、受けた映像信号に応じた画像データを前記プレーン合成部(13)に出力するビデオキャプチャ部(10)を備え、
    前記ループバック回路(10c、10d、10e)は、前記ビデオキャプチャ部(10)に備えられ、前記ビデオキャプチャ部(10)が受けた映像信号に応じた画像データを前記プレーン合成部(13)に出力する機能を兼ね備えていることを特徴とする請求項1ないし4のいずれか1つに記載の画像表示制御装置。
JP2009292848A 2009-12-24 2009-12-24 画像表示制御装置 Pending JP2011133649A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009292848A JP2011133649A (ja) 2009-12-24 2009-12-24 画像表示制御装置
US12/975,446 US8717385B2 (en) 2009-12-24 2010-12-22 Image display control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009292848A JP2011133649A (ja) 2009-12-24 2009-12-24 画像表示制御装置

Publications (1)

Publication Number Publication Date
JP2011133649A true JP2011133649A (ja) 2011-07-07

Family

ID=44187113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009292848A Pending JP2011133649A (ja) 2009-12-24 2009-12-24 画像表示制御装置

Country Status (2)

Country Link
US (1) US8717385B2 (ja)
JP (1) JP2011133649A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092176A (ja) * 2012-11-30 2018-06-14 株式会社半導体エネルギー研究所 半導体装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105145A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
JP6019998B2 (ja) * 2012-02-17 2016-11-02 ソニー株式会社 撮像装置、撮像制御プログラム及び撮像方法
US8854503B2 (en) * 2012-06-07 2014-10-07 Broadcom Corporation Image enhancements through multi-image processing
TWI520610B (zh) * 2013-08-01 2016-02-01 晨星半導體股份有限公司 電視控制裝置與相關方法
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
KR20150100998A (ko) * 2014-02-24 2015-09-03 삼성디스플레이 주식회사 영상처리장치 및 영상처리방법
US9898804B2 (en) 2014-07-16 2018-02-20 Samsung Electronics Co., Ltd. Display driver apparatus and method of driving display
US9836814B2 (en) 2015-01-09 2017-12-05 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
KR102488333B1 (ko) * 2016-04-27 2023-01-13 삼성전자주식회사 그래픽 데이터를 합성하는 전자 장치 및 방법
EP3270371B1 (en) 2016-07-12 2022-09-07 NXP USA, Inc. Method and apparatus for managing graphics layers within a graphics display component
US10446191B2 (en) * 2016-07-21 2019-10-15 Newblue, Inc. Animated motion and effect modifiers in an intelligent title cache system
US10734028B2 (en) * 2016-07-21 2020-08-04 Newblue, Inc. Real-time image motion including an optimized crawl and live video mapping in an intelligent title cache system
EP3438936B1 (en) * 2017-08-04 2022-03-30 NXP USA, Inc. Method and apparatus for managing graphics layers within a data processing system
EP3438965A1 (en) 2017-08-04 2019-02-06 NXP USA, Inc. Method and apparatus for blending layers within a graphics display component

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314430A (ja) * 1995-05-22 1996-11-29 Hudson Soft Co Ltd 画像合成装置
JPH09179537A (ja) * 1995-07-06 1997-07-11 Sun Microsyst Inc コンピュータ・ディスプレイ用ループバック・ビデオ・プレビュー
JP2006254350A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示切替方法
JP2007241738A (ja) * 2006-03-09 2007-09-20 Matsushita Electric Ind Co Ltd 画面合成装置
JP2008026450A (ja) * 2006-07-19 2008-02-07 Alpine Electronics Inc 表示処理装置
WO2008093391A1 (ja) * 2007-01-29 2008-08-07 Mitsubishi Electric Corporation 画像表示装置及び画像表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US5973676A (en) * 1993-06-30 1999-10-26 Kabushiki Kaisha Toshiba Input apparatus suitable for portable electronic device
JPH09266551A (ja) 1996-03-28 1997-10-07 Sharp Corp 画像合成回路
US8698840B2 (en) * 1999-03-05 2014-04-15 Csr Technology Inc. Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes
US6668080B1 (en) * 1999-09-21 2003-12-23 Microsoft Corporation Automated layer extraction and pixel assignment from image sequences
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
JP2005275036A (ja) 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 表示データ合成装置
JP2009282307A (ja) 2008-05-22 2009-12-03 Denso Corp 画像信号出力装置、及び、画像信号出力方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314430A (ja) * 1995-05-22 1996-11-29 Hudson Soft Co Ltd 画像合成装置
JPH09179537A (ja) * 1995-07-06 1997-07-11 Sun Microsyst Inc コンピュータ・ディスプレイ用ループバック・ビデオ・プレビュー
JP2006254350A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示切替方法
JP2007241738A (ja) * 2006-03-09 2007-09-20 Matsushita Electric Ind Co Ltd 画面合成装置
JP2008026450A (ja) * 2006-07-19 2008-02-07 Alpine Electronics Inc 表示処理装置
WO2008093391A1 (ja) * 2007-01-29 2008-08-07 Mitsubishi Electric Corporation 画像表示装置及び画像表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092176A (ja) * 2012-11-30 2018-06-14 株式会社半導体エネルギー研究所 半導体装置
JP2020073978A (ja) * 2012-11-30 2020-05-14 株式会社半導体エネルギー研究所 半導体装置

Also Published As

Publication number Publication date
US8717385B2 (en) 2014-05-06
US20110157474A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
JP2011133649A (ja) 画像表示制御装置
JP6025222B2 (ja) 表示装置、及び表示方法
WO1994028507A1 (en) Image processing device and method
JPH087567B2 (ja) 画像表示装置
JPH05103324A (ja) 多地点テレビ会議制御装置
US20100208102A1 (en) Storage device, storage method and computer-readable storage medium for storing video data
JP2007214659A (ja) Osd装置
JP4559976B2 (ja) 映像合成装置、映像合成方法及び映像合成プログラム
JP2002215122A (ja) マルチビジョン用プロジェクタ装置、およびこれを用いたマルチビジョン
JP2005134479A (ja) 描画装置及び方法、コンピュータプログラム並びに描画表示システム
JPH0267083A (ja) ズーム機能のためのアドレス発生回路
JP2009267612A (ja) 画像処理装置、及び画像処理方法
JP4531356B2 (ja) 画像表示装置および画像表示切替方法
US7525557B2 (en) Moving image composition device, moving image composition method, and information terminal with moving image composition function
JPH11239307A (ja) マルチ画面表示装置
JP2002281382A (ja) 画像処理装置およびその処理方法
JP4741434B2 (ja) Cg合成装置およびcg合成プログラム
JP5055220B2 (ja) 画像表示装置、画像表示方法
JP4401884B2 (ja) 映像信号処理装置及び方法
JPH06284353A (ja) オンスクリーン表示制御装置
JP2009145600A (ja) 表示制御装置、方法及びプログラム
KR101276807B1 (ko) 이동통신 단말기의 영상 디스플레이 방법
JP2009206986A (ja) 画像出力装置及び画像出力方法
JP2006119728A (ja) 合成画像の表示
JP2702988B2 (ja) 画像信号処理回路及びこれを用いた装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140204