JP2008288779A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2008288779A
JP2008288779A JP2007130524A JP2007130524A JP2008288779A JP 2008288779 A JP2008288779 A JP 2008288779A JP 2007130524 A JP2007130524 A JP 2007130524A JP 2007130524 A JP2007130524 A JP 2007130524A JP 2008288779 A JP2008288779 A JP 2008288779A
Authority
JP
Japan
Prior art keywords
image signal
interpolation
unit
input image
osd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007130524A
Other languages
English (en)
Other versions
JP2008288779A5 (ja
JP5023805B2 (ja
Inventor
Minoru Urushibara
稔 漆原
Masahito Usuki
雅人 薄木
Takayuki Oe
崇之 大江
Kenkichi Kobayashi
賢吉 小林
Koji Moriya
浩二 森谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007130524A priority Critical patent/JP5023805B2/ja
Priority to TW097115377A priority patent/TWI384866B/zh
Priority to US12/151,135 priority patent/US8600195B2/en
Priority to CN2008101002189A priority patent/CN101309358B/zh
Publication of JP2008288779A publication Critical patent/JP2008288779A/ja
Publication of JP2008288779A5 publication Critical patent/JP2008288779A5/ja
Application granted granted Critical
Publication of JP5023805B2 publication Critical patent/JP5023805B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】補間前の画像信号に所定の画像信号が重畳される場合において、補間後の画像信号の画質を向上させる。
【解決手段】MPU31は、入力画像信号に対して重畳される所定の画像信号の、入力画像信号における位置に関する情報であるOSD情報を取得する。補間処理部72は、そのOSD情報に基づいて、入力画像信号間信号における、少なくとも1つの、動きベクトルに基づく補間を行わない補間停止領域を指定する。補間処理部72は、入力画像信号の動きベクトルに基づいて、その補間停止領域以外の領域において、入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力する。本発明は、例えば、テレビジョン受像機に適用することができる。
【選択図】図2

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、補間前の画像信号に所定の画像信号が重畳される場合において、補間後の画像信号の画質を向上させることができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
画像信号のフレームレートを高速にする高フレームレート処理や、画像信号の動きを補償する動き補償処理などに適用される、フレーム間の画像信号を補間するフレーム補間処理は、画像信号の高画質化に欠かせない処理である。
このようなフレーム補間処理としては、入力された時系列の画像信号に含まれる動きベクトルを取得し、その動きベクトルを用いて、時系列の画像信号の間の任意の時刻における画像信号を補間する処理が考案されている(例えば、特許文献1参照)。
ところで、入力された時系列の画像信号に、チャンネル番号やメニューなどのOSD(On Screen Display)画像の画像信号(以下、OSD画像信号という)が重畳されている場合、フレーム補間処理において、そのOSD画像信号も時系列の画像信号と同様の画像信号として扱われるが、OSD画像の動きは、OSD画像の背景の画像の動きに対して一般的に無関係である。従って、特に、OSD画像において背景の画像が透過されている場合、OSD画像の動きが、背景の動きの一部として扱われ、これにより、動きベクトルを用いたフレーム補間処理において、OSD画像の補間エラーを発生させることがある。
そこで、動きベクトルを用いたフレーム補間処理においては、入力された時系列の画像信号にOSD画像信号が重畳されている場合、動きベクトルを用いた補間を停止することが考えられている。
特開2001−42831号公報
しかしながら、この場合、OSD画像以外の背景の画像においても、動きベクトルを用いた補間が停止されるので、フレーム補間処理後の画像信号の画質は良くない。
本発明は、このような状況に鑑みてなされたものであり、補間前の画像信号に所定の画像信号が重畳される場合において、補間後の画像信号の画質を向上させることができるようにするものである。
本発明の一側面の画像処理装置は、入力された時系列の画像信号である入力画像信号の動きベクトルを検出する検出手段と、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力する補間手段と、前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得する取得手段と、前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記補間を行わない補間停止領域を指定する指定手段とを備え、前記補間手段は、指定された前記補間停止領域に基づいて、その補間停止領域以外の領域において前記入力画像信号間信号を補間して出力する。
本発明の一側面の画像処理装置においては、前記指定手段は、前記重畳情報に基づいて、前記入力画像信号における、少なくとも1つの前記動きベクトルを検出しない領域である検出停止領域を指定し、前記検出手段は、指定された前記検出停止領域に基づいて、その検出停止領域以外の領域において前記入力画像信号の動きベクトルを検出することができる。
本発明の一側面の画像処理装置は、前記入力画像信号に対して前記所定の画像信号を重畳する重畳手段をさらに設けることができる。
本発明の一側面の画像処理装置においては、前記取得手段と前記指定手段は、相互にバスを介して接続され、前記取得手段は、前記重畳情報を取得した場合、前記バスを介して、前記重畳が開始される前に、前記重畳情報を前記指定手段に送信し、前記指定手段は、前記取得手段から送信されてくる前記重畳情報を受信した場合、その重畳情報に基づいて、前記補間停止領域を指定することができる。
本発明の一側面の画像処理装置においては、前記取得手段は、前記重畳情報を取得した場合、前記重畳が開始される前に、ポートを、前記重畳情報を表す状態にし、前記指定手段は、ポーリングにより、前記重畳が開始される前に前記ポートの状態を確認し、そのポートの状態が前記重畳情報を表す状態である場合、その重畳情報に基づいて、前記補間停止領域を指定することができる。
本発明の一側面の画像処理方法は、入力された時系列の画像信号である入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間する画像処理装置の画像処理方法において、前記入力画像信号の動きベクトルを検出し、前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得し、前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記動きベクトルに基づく補間を行わない補間停止領域を指定し、前記動きベクトルに基づいて、前記補間停止領域以外の領域において前記入力画像信号間信号を補間して出力するステップを含む。
本発明の一側面のプログラムは、入力された時系列の画像信号である入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間する補間処理を、コンピュータに行わせるプログラムにおいて、前記入力画像信号の動きベクトルを検出し、前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得し、前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記動きベクトルに基づく補間を行わない補間停止領域を指定し、前記動きベクトルに基づいて、前記補間停止領域以外の領域において前記入力画像信号間信号を補間して出力するステップを含む補間処理をコンピュータに行わせる。
本発明の一側面においては、入力画像信号間信号を補間する補間処理を、コンピュータに行わせるプログラムにおいて、入力された時系列の画像信号である入力画像信号の動きベクトルが検出され、入力画像信号に対して重畳される所定の画像信号の、入力画像信号における位置に関する情報である重畳情報が取得され、重畳情報に基づいて、入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号における、少なくとも1つの動きベクトルに基づく補間を行わない補間停止領域が指定され、動きベクトルに基づいて、補間停止領域以外の領域において入力画像信号間信号が補間されて出力される。
以上のように、本発明の一側面によれば、補間前の画像信号に所定の画像信号が重畳される場合において、補間後の画像信号の画質を向上させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置(例えば、図1の受信装置11)は、
入力された時系列の画像信号である入力画像信号の動きベクトルを検出する検出手段(例えば、図3の検出部82)と、
前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力する補間手段(例えば、図3の移動部83と混合部85)と、
前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得する取得手段(例えば、図2のMPU31)と、
前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記補間を行わない補間停止領域を指定する指定手段(例えば、図3の指定部84)と
を備え、
前記補間手段は、指定された前記補間停止領域に基づいて、その補間停止領域以外の領域において前記入力画像信号間信号を補間して出力する。
本発明の一側面の画像処理装置は、
前記入力画像信号に対して前記所定の画像信号を重畳する重畳手段(例えば、図2のOSD重畳部71)
をさらに備える。
本発明の一側面の画像処理装置においては、
前記取得手段と前記指定手段は、相互にバス(例えば、図2のバス37)を介して接続され、
前記取得手段は、前記重畳情報を取得した場合、前記バスを介して、前記重畳が開始される前に、前記重畳情報を前記指定手段に送信し、
前記指定手段は、前記取得手段から送信されてくる前記重畳情報を受信した場合、その重畳情報に基づいて、前記補間停止領域を指定する。
本発明の一側面の画像処理装置においては、
前記取得手段は、前記重畳情報を取得した場合、前記重畳が開始される前に、ポート(例えば、図9のポート132A−3乃至132A−n)を、前記重畳情報を表す状態にし、
前記指定手段は、ポーリングにより、前記重畳が開始される前に前記ポートの状態を確認し、そのポートの状態が前記重畳情報を表す状態である場合、その重畳情報に基づいて、前記補間停止領域を指定する。
本発明の一側面の画像処理方法は、
入力された時系列の画像信号である入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間する画像処理装置(例えば、図1の受信装置11)の画像処理方法において、
前記入力画像信号の動きベクトルを検出し(図6のステップS153)、
前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得し(例えば、図4のステップS11)、
前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記動きベクトルに基づく補間を行わない補間停止領域を指定し(例えば、図6のステップS156)、
前記動きベクトルに基づいて、前記補間停止領域以外の領域において前記入力画像信号間信号を補間して出力する(例えば、図6のステップS154、S158,S159)
ステップを含む。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図1は、本発明を適用した受信装置の第1の実施の形態の構成例を示している。
図1の受信装置11では、MPU(Micro Processing Unit)31、チューナ32、デコード処理部33、表示部35とスピーカ36が接続された信号処理部34、入力部38、通信部39、記録部40、およびドライブ41が、バス37を介して互いに接続されており、受信装置11は、番組の時系列のフレーム単位の画像や音声のデジタル信号(以下、番組信号という)の電波を受信し、その番組の画像や音声を出力する。
MPU31は、例えば、記録部40にインストールされたプログラムを実行することにより、入力部38から入力される指令などに対応して、各種の処理を実行する。例えば、MPU31は、入力部38から入力されるユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ32、デコード処理部33、および信号処理部34を制御し、そのチャンネルの番組信号に対応する画像を、液晶パネルなどにより構成される表示部35に表示させるとともに、音声をスピーカ36から出力させる。
また、MPU31は、入力部38から入力される、OSD画像の表示を開始させるための指令であるOSD表示指令と、OSD画像の、番組の画像における表示位置に関する情報であるOSD情報の少なくとも1つとに基づいて、信号処理部34を制御し、番組信号のうちの画像信号にOSD画像信号を重畳させる。なお、OSD情報とは、例えばOSD画像の表示開始位置、大きさ、形状などの情報である。
さらに、MPU31は、通信部39によりダウンロードされたプログラムや、ドライブ41に装着された磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア42に記録されたプログラムを必要に応じて、記録部40にインストールする。
チューナ32は、MPU31の制御により、図示せぬ放送局から放射される番組信号の電波を受信して復調する。チューナ32は、復調の結果得られる番組信号をデコード処理部33に供給する。
デコード処理部33は、MPU31の制御により、チューナ32から供給される番組信号(符号化されている番組信号)を、MPEG2(Moving Picture Experts Group phase 2)などの所定の方式でデコードし、その結果得られる番組信号を信号処理部34に供給する。
信号処理部34は、画像処理部51と音声処理部52により構成される。画像処理部51は、デコード処理部33から供給される番組信号のうちの画像信号に対して、OSD画像信号の重畳、連続する画像信号の中間の時刻における画像信号の補間、D/A(Digital/Analog)変換などの処理を施す。画像処理部51は、その結果得られるアナログ信号である画像信号を、表示部35に供給して、表示部35に画像を表示させる。
音声処理部52は、デコード処理部33から供給される番組信号のうちの音声信号に対して、D/A変換などを行い、その結果得られるアナログ信号である音声信号を、スピーカ36に供給して、外部に音声を出力させる。
入力部38は、例えば、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、ボタン、キーボード、マウス、スイッチなどから構成され、ユーザからの指令を受け付ける。入力部38は、ユーザからの指令に応じて、各種の指令を、バス37を介してMPU31に供給する。
例えば、入力部38は、ユーザからの所望のチャンネルの番組の表示の指令に応じて、ユーザの所望のチャンネルの番組を表示させるための指令をMPU31に供給する。また、入力部38は、ユーザからのOSD画像の表示の開始の指令に応じて、そのOSD画像のOSD情報とOSD表示指令をMPU31に供給する。
通信部39は、図示せぬインターネットなどのネットワークを介して、各種のデータの送受信を行う。例えば、通信部39は、図示せぬサーバからネットワークを介して所定のプログラムをダウンロードし、MPU31に供給する。記録部40は、必要に応じて、MPU31が実行するプログラムおよび各種のデータを記録する。
ドライブ41には、必要に応じて、リムーバブルメディア42が装着される。ドライブ41は、リムーバブルメディア42を駆動して、そこに記録されているプログラムやデータなどを読み出し、バス37を介してMPU31に供給する。
次に、図2を参照して、図1の受信装置11における補間について説明する。
図2に示すように、入力部38は、ユーザからのOSD画像の表示の開始または終了の指令を受け付けると、OSD表示指令とOSD情報、または、OSD画像の表示を終了させるための指令であるOSD終了指令を、バス37を介してMPU31に供給する。
MPU31は、バス37を介して、I2C(Inter-Integrated Circuit)通信やUART(Universal Asynchronous Receiver Transmitter)通信などの通信を画像処理部51と行う。例えば、MPU31は、入力部38から供給されるOSD表示指令とOSD情報に応じて、OSD情報と、補間の停止の指令である補間停止指令とを画像処理部51に送信し、その後、OSD画像信号の重畳の開始の指令である重畳開始指令を画像処理部51に送信する。
また、MPU31は、入力部38から供給されるOSD終了指令に対応して、補間の再開の指令である補間再開指令を画像処理部51に送信し、その後、OSD画像信号の重畳の停止の指令である重畳停止指令を画像処理部51に送信する。
図2に示すように、デコード処理部33は、デコーダ61により構成される。デコーダ61は、図1のチューナ32から入力される番組信号をデコードし、その結果得られる画像信号(以下、入力画像信号という)を画像処理部51に供給する。なお、ここで得られるデコード後の音声信号は、図1の音声処理部52に供給される。
画像処理部51は、OSD重畳部71、補間処理部72、および表示処理部73により構成される。OSD重畳部71は、MPU31からバス37を介して供給される重畳開始指令に応じて、デコーダ61から供給される入力画像信号の、MPU31から供給されたOSD情報に基づく位置に、予め記憶しているOSD画像信号を重畳する。そして、OSD重畳部71は、重畳後の入力画像信号を補間処理部72に供給する。また、OSD重畳部71は、MPU31からバス37を介して供給される重畳停止指令に応じて、デコーダ61から供給される入力画像信号に対するOSD画像信号の重畳を停止し、デコーダ61から供給される入力画像信号をそのまま補間処理部72に供給する。
補間処理部72は、MPU31からバス37を介して供給される補間停止指令に応じて、OSD重畳部71から供給される入力画像信号を用いて、MPU31から供給されるOSD情報に対応する領域以外の領域において、動きベクトルに基づく補間を行う。また、補間処理部72は、MPU31からバス37を介して供給される補間再開指令に応じて、OSD重畳部71から供給される入力画像信号を用いて、全領域において動きベクトルに基づく補間を行う。補間処理部72は、補間後の画像信号を表示処理部73に供給する。
表示処理部73は、補間処理部72から供給される補間後の画像信号に対してD/A変換を行い、その結果得られるアナログ信号である画像信号を表示部35に供給して、表示部35に画像を表示させる。
図3は、図2の補間処理部72の詳細構成例を示している。
補間処理部72は、フレームメモリ81、検出部82、移動部83、指定部84、混合部85、および選択部86により構成される。
図2のOSD重畳部71から供給される入力画像信号は、フレームメモリ81、検出部82、混合部85、および選択部86に入力される。また、MPU31からバス37を介して供給される補間停止指令およびOSD情報、または、補間再開指令は、指定部84に供給される。
フレームメモリ81は、OSD重畳部71から入力された入力画像信号をフレーム単位で記憶する。フレームメモリ81は、前回記憶した入力画像信号、即ち、OSD重畳部71から入力された入力画像信号の1フレーム前の入力画像信号(以下、前入力画像信号という)を読み出し、検出部82、移動部83、および混合部85に供給する。
検出部82は、OSD重畳部71から入力される入力画像信号を、検出対象の入力画像信号(以下、対象入力画像信号という)として、対象入力画像信号と、フレームメモリ81から供給される対象入力画像信号より1フレーム前の前入力画像信号とに基づいて、対象入力画像信号の動きベクトルを検出する。
例えば、検出部82は、ブロックマッチング法にしたがって、対象入力画像信号に設定した基準ブロックと、前入力画像信号に設定した、基準ブロックと同一のサイズの参照ブロックとのマッチングを行うことにより、ブロック単位の動きベクトルを検出する。検出部82は、検出したブロック単位の動きベクトルを、移動部83に供給する。
移動部83は、検出部82から供給されるブロック単位の動きベクトルを用いて、フレームメモリ81から供給される前入力画像信号をブロック単位で移動し、移動後の前入力画像信号を混合部85に供給する。
指定部84は、MPU31から供給される補間停止指令とOSD情報に基づいて、後述する補間信号における、動きベクトルに基づく補間を行わない領域である補間停止領域を、少なくとも1つ指定する。また、指定部84は、MPU31から供給される補間再開指令に応じて、補間停止領域として、その領域がないことを表すゼロを指定する。指定部84は、その補間停止領域を混合部85に供給する。
混合部85は、指定部84から供給される補間停止領域に基づいて、OSD重畳部71から供給される対象入力画像信号に、移動部83から供給される前入力画像信号を混合することにより、対象入力画像信号と前入力画像信号の間の中間の時刻における画像信号を補間する補間信号を生成する。
具体的には、混合部85は、補間信号における補間停止領域以外の領域においては、OSD重畳部71から供給される対象入力画像信号に、移動部83から供給される前入力画像信号を混合し、補間停止領域においては前入力画像信号をそのまま用いることにより、補間信号を生成する。即ち、混合部85は、補間停止領域以外の領域においては、対象入力画像信号と、移動部83により動きベクトルを用いて移動された前入力画像信号の混合による補間を行い、補間停止領域においては、その補間を行わない。
その結果、補間信号は、補間停止領域以外の領域では対象入力画像信号と前入力画像信号を混合した画像信号となり、補間停止領域では前入力画像信号そのものとなる。そして、混合部85は、補間信号を選択部86に供給する。
選択部86は、OSD重畳部71から入力される対象入力画像信号と、混合部85から供給される補間信号のいずれか一方を選択し、所定のタイミングで、補間後の画像信号として出力する。具体的には、選択部86は、対象入力画像信号と、その次の対象入力画像信号の間に、それらを用いて生成された補間信号を、補間後の画像信号として出力する。その結果、選択部86から出力される、補間後の画像信号のフレームレートは、入力画像信号のフレームレートの2倍となる。
次に、図4を参照して、図1の受信装置11におけるOSD重畳処理について説明する。このOSD重畳処理は、例えば、入力部38から、OSD表示指令とOSD情報がMPU31に供給されたとき、開始される。
ステップS11において、MPU31は、入力部38から供給される、OSD表示指令と、少なくとも1つのOSD画像のOSD情報を取得し、そのOSD情報のうちの1つを、バス37を介して画像処理部51の補間処理部72に送信する。ステップS21において、補間処理部72は、MPU31から送信されてくるOSD情報を受信し、ステップS22において、MPU31にOSD情報の通信の完了の通知を送信する。
ステップS12において、MPU31は、補間処理部72から送信されてくる通信の完了の通知を受信する。以降も同様にして、入力部38からMPU31に供給されるOSD情報の数だけ、ステップS11およびS12、並びに、ステップS21およびS22の処理が繰り返される。
その後、ステップS13において、MPU31は、補間停止指令を補間処理部72に送信し、ステップS23において、補間処理部72は、その補間停止指令を受信する。そして、補間処理部72は、この補間停止指令に応じて、補間停止領域の動きベクトルを用いた補間の停止を開始する。
ステップS24において、補間処理部72は、補間停止指令の通信の完了の通知をMPU31に送信し、ステップS14において、MPU31は、その通知を受信する。ステップS15において、MPU31は、バス37を介して、画像処理部51のOSD重畳部71に、重畳開始指令と、入力部38から取得した全てのOSD情報を送信する。
ステップS31において、OSD重畳部71は、MPU31から送信されてくる重畳開始指令とOSD情報を受信し、その重畳開始指令に応じて、デコーダ61から供給される入力画像信号のOSD情報に基づく位置に対する、OSD画像信号の重畳を開始する。その結果、表示部35には、OSD画像が表示される。以降も同様にして、入力部38からMPU31にOSD終了指令が供給されるまで、OSD表示指令が入力部38からMPU31に供給されるたびに、ステップS11乃至S15、ステップS21乃至S24、およびステップS31の処理が繰り返される。
ステップS16において、MPU31は、入力部38からバス37を介して供給されるOSD終了指令を取得し、そのOSD終了指令に応じて重畳停止指令をOSD重畳部71に送信する。ステップS32において、OSD重畳部71は、MPU31から送信されてくる重畳停止指令を受信し、その重畳停止指令に応じて、入力画像信号に対するOSD画像信号の重畳を終了する。その結果、表示部35には、OSD重畳部71によりステップS31の処理が行われてから、ステップS32の処理が行われるまでの間、OSD画像が表示される。
ステップS17において、MPU31は、補間再開指令を補間処理部72に送信し、ステップS25において、補間処理部72は、その補間再開指令を受信する。そして、補間処理部72は、この補間再開指令に応じて、補間停止領域の動きベクトルを用いた補間の停止を終了する。即ち、補間処理部72は、全領域の動きベクトルを用いた補間を開始する。従って、ステップS23の処理が行われてから、ステップS25の処理が行われるまでの間、補間停止領域の動きベクトルを用いた補間が停止される。
なお、補間停止領域の動きベクトルを用いた補間が停止される期間は、OSD重畳部71および補間処理部72の処理速度、MPU31と補間処理部72との通信速度などによって異なる。
ステップS26において、補間処理部72は、補間再開指令の通信の完了の通知をMPU31に送信し、ステップS18において、MPU31は、その通知を受信する。
以上のように、MPU31は、重畳開始指令の前に、OSD情報と補間停止指令を送信して、OSD情報に基づく補間停止領域の、動きベクトルを用いた補間を停止させるので、補間後の画像信号の品質を向上させることができる。即ち、動きベクトルが検出される前に、OSD画像信号が重畳される場合、OSD画像信号が重畳された領域では、異常な動きベクトルが検出されてしまう可能性がある。従って、受信装置11は、重畳開始指令の前、即ち、OSD画像信号が重畳される前に、OSD情報に基づく補間停止領域の、動きベクトルを用いた補間を停止することにより、OSD画像信号が重畳された領域において検出される、異常な動きベクトルを用いた補間によって発生する、画像乱れを防止する。その結果、補間後の画像信号の品質を向上させることができる。
また、補間停止領域以外の領域においては、動きベクトルを用いた補間が行われるので、全領域における補間が停止される場合に比べて、補間後の画像信号の品質を向上させることができる。さらに、MPU31は、OSD情報、補間停止指令、および補間再開指令の通信の完了をそれぞれ確認した後、次の処理を行うので、補間処理を確実に制御することができる。
なお、図4では、MPU31が、OSD情報と補間停止指令を補間処理部72に送信した後に、重畳開始指令とOSD情報をOSD重畳部71に送信したが、OSD重畳部71が重畳開始指令に応じて重畳を開始する前に、OSD情報と補間停止指令を補間処理部72に送信することができれば、図5に示すように、OSD情報と補間停止指令を補間処理部72に送信する前に、重畳開始指令とOSD情報をOSD重畳部71に送信してもよい。
即ち、図5では、ステップS51において、MPU31は、入力部38からバス37を介して供給される、OSD表示指令と、少なくとも1つのOSD画像のOSD情報を取得し、重畳開始指令とOSD情報を、OSD重畳部71にバス37を介して送信する。ステップS71において、OSD重畳部71は、MPU31から送信されてくる重畳開始指令とOSD情報を受信し、所定の期間が経過するまで重畳の開始を遅延させる。
ステップS52乃至S55の処理は、図4のステップS11乃至S14の処理と同様であり、ステップS61乃至S64の処理は、図4のステップS21乃至S24の処理と同様であるので、説明は省略する。
そして、ステップS55でMPU31が、補間停止指令の通信の完了の通知を受信した後、上述した所定の期間が経過し、ステップS72において、OSD重畳部71は、デコーダ61から供給される入力画像信号の、ステップS71でMPU31から受信したOSD情報に基づく位置に対する、OSD画像信号の重畳を開始する。
以降も同様にして、入力部38からMPU31にOSD終了指令が供給されるまで、OSD表示指令が入力部38からMPU31に供給されるたびに、ステップS51乃至S55、ステップS61乃至S64、並びに、ステップS71およびS72の処理が繰り返される。そして、OSD終了指令が入力部38からMPU31に供給されると、処理はステップS56に進む。
なお、ステップS56乃至S58の処理は、図4のステップS16乃至S18の処理と、ステップS65およびS66の処理は、ステップS25およびS26の処理と、ステップS73の処理はステップS32の処理と、それぞれ同様であり、説明は繰り返しになるので省略する。
次に、図6を参照して、図3の補間処理部72における補間処理について説明する。この補間処理は、例えば、補間処理部72に入力画像信号が入力されたとき、開始される。
ステップS150において、補間処理部72の選択部86は、OSD重畳部71から供給される入力画像信号を、補間後の画像信号として出力する。ステップS151において、フレームメモリ81は、OSD重畳部71から供給される入力画像信号を記憶する。ステップS152において、フレームメモリ81は、既に記憶されている前入力画像信号を読み出し、検出部82、移動部83、および混合部85に供給する。
ステップS153において、検出部82は、OSD重畳部71から供給される入力画像信号を対象入力画像信号として、対象入力画像信号と、フレームメモリ81から供給される前入力画像信号に基づいて、対象入力画像信号のブロック単位の動きベクトルを検出する。
ステップS154において、移動部83は、検出部82から供給されるブロック単位の動きベクトルに基づいて、フレームメモリ81から供給される前入力画像信号をブロック単位で移動し、移動後の前入力画像信号を混合部85に供給する。ステップS155において、指定部84は、補間を停止するかどうか、即ち、MPU31から補間停止指令が送信されてから補間再開指令が送信されるまでの間であるかどうかを判定する。
ステップS155で補間を停止すると判定された場合、ステップS156において、指定部84は、MPU31から供給されるOSD情報に基づいて、補間停止領域を指定し、混合部85に供給する。
一方、ステップS155で補間を停止しないと判定された場合、即ち、MPU31からまだ1度も補間停止指令が送信されていないか、または、MPU31から補間再開指令が送信されてから補間停止指令が送信されるまでの間である場合、ステップS157において、指定部84は、補間停止領域として、その領域がないことを表すゼロを指定する。そして、指定部84は、その補間停止領域を混合部85に供給する。
ステップS158において、混合部85は、指定部84から供給される補間停止領域に基づいて、OSD重畳部71から供給される対象入力画像信号に、移動部83から供給される移動後の前入力画像信号を混合することにより、補間信号を生成する。そして、混合部85は、補間信号を選択部86に供給する。ステップS159において、選択部86は、混合部85から供給される補間信号を、補間後の画像信号として出力し、処理は終了する。
なお、図1の受信装置11では、補間処理部72は、OSD情報に基づいて補間停止領域を指定したが、補間停止領域だけでなく、入力画像信号における、検出部82による動きベクトルの検出を行わないブロックの領域である検出停止領域も指定するようにしてもよい。
この場合、図2の補間処理部72は、図7に示すように構成される。図7の補間処理部72は、フレームメモリ81、移動部83、混合部85、選択部86、検出部91、および指定部92により構成される。なお、図3と同一のものには同一の符号を付してあり、説明は繰り返しになるので、省略する。
検出部91は、OSD重畳部71から入力される入力画像信号を、対象入力画像信号として、対象入力画像信号と、フレームメモリ81から供給される対象入力画像信号より1フレーム前の前入力画像信号とに基づいて、対象入力画像信号の、指定部92から供給される検出停止領域以外の領域の動きベクトルをブロック単位で検出する。そして、検出部91は、検出した動きベクトルを移動部83に供給する。
指定部92は、MPU31から供給される補間停止指令とOSD情報に基づいて、少なくとも1つの補間停止領域と検出停止領域を指定する。また、指定部84は、MPU31から供給される補間再開指令に応じて、補間停止領域と検出停止領域として、それぞれ、その領域がないことを表すゼロを指定する。指定部84は、補間停止領域を混合部85に供給し、検出停止領域を検出部91に供給する。
以上のように、図7の補間処理部72では、対象入力画像信号と前入力画像信号に基づいて、対象入力画像信号の、OSD情報に基づく検出停止領域以外の領域の動きベクトルがブロック単位で検出されるので、補間後の画像信号の品質を、さらに向上させることができる。
即ち、OSD画像の出画および消画の際、一方にOSD画像信号が重畳され、他方にOSD画像信号が重畳されない対象入力画像信号と前入力画像信号を用いて動きベクトルが検出されると、OSD画像が重畳されたブロックにおける動きベクトルとして、一般的に、OSD画像以外の背景画像とは無関係で、かつ、大きな動きの動きベクトルが検出されてしまう。従って、図7の補間処理部72は、OSD情報に基づく検出停止領域以外の領域においてのみブロック単位で動きベクトルを検出することにより、OSD画像の出画および消画の際、OSD画像信号が重畳されたブロックにおいて、異常な動きベクトルが検出されることを防止する。その結果、その動きベクトルを用いて生成される補間後の画像信号の品質を向上させることができる。
図8は、本発明を適用した受信装置の第2の実施の形態の構成例を示している。
図8の受信装置101では、チューナ32、入力部38、通信部39、記録部40、ドライブ41、MPU111、デコード処理部112、表示部35とスピーカ36が接続された信号処理部113が、バス37を介して互いに接続されており、デコード処理部112が重畳を行う。なお、図1と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
MPU111のポートは、デコード処理部112のポートと接続され、MPU111は、ポートを制御することにより、デコード処理部112と通信を行う。MPU111は、例えば記録部40にインストールされたプログラムを実行することにより、入力部38から入力される指令などに対応して、各種の処理を実行する。例えば、MPU111は、デコード処理部112のポートの状態に応じて、OSD情報および補間停止指令、または、補間再開指令を、バス37を介して信号処理部113の画像処理部121に供給する。
さらに、MPU111は、図1のMPU31と同様に、入力部38から入力されるユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ32、デコード処理部112、および信号処理部113を制御し、そのチャンネルの番組信号に対応する画像を表示部35に表示させるとともに、音声をスピーカ36から出力させる。
また、MPU111は、MPU31と同様に、通信部39によりダウンロードされたプログラムや、ドライブ41に装着されたリムーバブルメディア42に記録されたプログラムを必要に応じて、記録部40にインストールする。
デコード処理部112は、図1のデコード処理部33と同様に、MPU111の制御により、チューナ32から供給される番組信号を、MPEG2などの所定の方式でデコードする。また、デコード処理部112は、入力部38から供給されるOSD表示指令またはOSD終了指令に対応して、ポートを制御することにより、ポートの状態を、OSD情報および補間停止指令を表す状態、または、補間再開指令を表す状態に変更する。その後、デコード処理部112は、デコード後の番組信号のうちの画像信号である入力画像信号にOSD画像信号を重畳して、画像処理部121に供給する。
以上のように、デコード処理部112は、ポートの状態を変更することによりOSD情報および補間停止指令、または、補間再開指令を送信するので、送信の完了を確認する必要がない。従って、デコード処理部112は、送信の完了の確認が必要となるバス37を介した送信を行う場合に比べて、OSD情報と補間停止指令を送信した後、即座にOSD画像信号の重畳を開始することができる。その結果、OSD画像の表示のレスポンスを速くすることができる。
信号処理部113は、音声処理部52と画像処理部121により構成される。画像処理部121は、デコード処理部112から供給される入力画像信号に対して、連続する画像信号の中間の時刻における画像信号の補間、D/A変換などの処理を施す。画像処理部121は、その結果得られるアナログ信号である画像信号を、表示部35に供給して、表示部35に画像を表示させる。
次に、図9を参照して、図8の受信装置101における補間について説明する。
なお、図9において、図2と同一のものには同一の符号を付してあり、説明は繰り返しになるので、適宜省略する。
図9に示すように、入力部38は、ユーザからOSD画像の表示の開始または終了の指令を受け付けると、OSD表示指令とOSD情報、または、OSD終了指令を、バス37を介してデコード処理部112に供給する。
図9のデコード処理部112は、デコーダ61、OSD重畳部131、およびCPU(Central Processing Unit)132により構成される。OSD重畳部131は、OSD画像信号を記憶している。OSD重畳部131は、CPU132から供給される重畳開始指令に応じて、予め記憶しているOSD画像信号を、デコーダ61から供給される入力画像信号に重畳し、重畳後の入力画像信号を、画像処理部121の補間処理部72に供給する。また、OSD重畳部131は、CPU132から供給される重畳停止指令に応じて、デコーダ61から供給される入力画像信号に対するOSD画像信号の重畳を停止し、デコーダ61から供給される入力画像信号をそのまま補間処理部72に供給する。
CPU132は、MPU111のn個のポート141A−1乃至141A−n(後述する)のそれぞれと接続されるn個のポート132A−1乃至132A−n(nは1以上の整数)を有している。このポート132A−1は、補間停止指令を送信するためのポート、ポート132A−2は、補間再開指令を送信するためのポート、ポート132A−3乃至132A−nは、OSD情報を送信するためのポートである。
CPU132は、入力部38からバス37を介して供給される、OSD表示指令とOSD情報に応じて、ポート132A−1乃至132A−nを制御し、ポート132A−1の状態を、補間停止指令を表す状態にし、ポート132A−3乃至132A−nの状態を、OSD情報を表す状態にする。そして、CPU132は、重畳開始指令をOSD重畳部131に供給する。また、CPU132は、入力部38から供給されるOSD終了指令に応じて、ポート132A−2を制御し、ポート132A−2の状態を、補間再開指令を表す状態に変更し、その後、重畳停止指令をOSD重畳部131に供給する。
図9のMPU111では、ポート141A−1乃至141A−nを有するポート部141、バスI/F(Interface)142、およびCPU143が、バスコンバータ144を介して接続されている。ポート部141は、CPU143の制御により、CPU132のポート132A−1乃至132A−nとそれぞれ接続されるポート141A−1乃至141A−nの状態を確認する。ポート部141は、そのポート141A−1乃至141A−nの状態を表す信号を、ポート132A−1乃至132A−nの状態を表す状態信号として、バスコンバータ144を介して、CPU143に供給する。
バスI/F142は、バス37を介して画像処理部121と通信を行う。例えば、バスI/F142は、CPU143からバスコンバータ144を介して供給される、補間停止指令およびOSD情報、または、補間再開指令を、バス37を介して画像処理部121の補間処理部72に送信する。
CPU143は、所定のプログラムにしたがって、ポート部141とバスI/F142のそれぞれを制御する。例えば、CPU143は、所定の間隔で、ポート部141のポート141A−1乃至141A−nの状態を確認するための制御信号を、バスコンバータ144を介してポート部141に送信することにより、ポーリングを行う。また、CPU143は、ポーリングの結果、ポート部141からバスコンバータ144を介して送信されてくる状態信号に応じて、補間停止指令およびOSD情報、または、補間再開指令を、バスコンバータ144を介してバスI/F142に供給する。
バスコンバータ144は、ポート部141、バスI/F142、およびCPU143とバスを介して接続されており、それらの間でのバスを介した通信を制御する。
画像処理部121は、補間処理部72と表示処理部73により構成される。補間処理部72は、MPU31のバスI/F142からバス37を介して供給される、補間停止指令およびOSD情報、または補間再開指令に応じて、デコード処理部112のOSD重畳部131から供給される入力画像信号に対して補間を行う。補間処理部72は、補間後の画像信号を表示処理部73に供給する。表示処理部73は、図2の場合と同様に、補間処理部72から供給される補間後の画像信号に基づいて、表示部35に画像を表示させる。
次に、図10を参照して、補間停止指令と補間再開指令の通知タイミングについて説明する。なお、図10において、横軸は時刻を表している。
また、図10の例では、MPU111のCPU143によるポーリングの間隔が10msであるものとする。この場合、ポート132A−1乃至132A−nの状態をポート部141が確認するためには、少なくとも20msの間、ポート132A−1乃至132A−nの状態を維持する必要がある。そこで、図10の例では、割り込み処理などの時間も考慮し、CPU132は、30msの間、ポート132A−1乃至132A−nの状態を維持するが、状態を維持する期間は、ポート132A−1乃至132A−nの状態をポート部141が確認可能な時間(図10の例では20ms以上)であれば、30msに限定されない。
図10の時刻t11において、CPU132に入力部38からOSD表示指令とOSD情報が供給されると、図10Bに示すように、時刻t11から30ms後の時刻t12までの間、CPU132は、ポート132A−1の状態を、補間停止指令を表す状態にする。また、この間、CPU132は、ポート132A−3乃至132A−nの状態を、OSD情報を表す状態にする。そして、MPU111は、10ms間隔でポーリングを行うことにより、この補間停止指令とOSD情報を認識し、補間処理部72に供給する。その結果、OSD情報に基づいて指定される補間停止領域における、動きベクトルに基づく補間が停止される。
その後、時刻t13において、CPU132は、重畳開始指令をOSD重畳部131に供給し、図10Aに示すように、OSD重畳部131は、その指令に応じて、OSD画像信号の重畳を開始する。その結果、OSD画像が表示部35に表示される。なお、時刻t11から時刻t13までの時間T1は、MPU111がポーリングにより補間停止指令を認識し、その補間停止指令を補間処理部72に供給するまでの時間以上の時間である。
以上のように、受信装置101では、重畳が開始される時刻t13までの間に、MPU111により補間処理部72に補間停止指令が供給されるので、補間処理部72が、その補間停止指令に応じて、補間停止領域における動きベクトルに基づく補間を停止することにより、補間後の画像信号の品質を向上させることができる。
次に、時刻t14において、CPU132に入力部38からOSD終了指令が供給されると、図10Bに示すように、時刻t14から30ms後の時刻t15までの間、CPU132は、ポート132A−2の状態を、補間再開指令を表す状態にする。そして、MPU111は、10ms間隔でポーリングを行うことにより、この補間再開指令を認識し、補間処理部72に供給する。その結果、全領域における動きベクトルに基づく補間が開始される。
その後、時刻t16において、CPU132は、重畳停止指令をOSD重畳部131に供給し、図10Aに示すように、OSD重畳部131は、その指令に応じて、OSD画像信号の重畳を停止する。その結果、OSD画像が表示部35に表示されなくなる。なお、時刻t14から時刻t16までの時間T2は、MPU111がポーリングにより補間再開指令を認識し、その補間再開指令を補間処理部72に供給するまでの時間以上の時間である。
なお、図10の例では、補間停止指令が補間処理部72に供給された後、OSD画像信号の重畳が停止されたが、OSD画像信号の重畳が停止された後に、補間停止指令が補間処理部72に供給されるようにしてもよい。
図11は、本発明を適用した受信装置の第3の実施の形態の構成例を示している。
図11の受信装置201では、チューナ32、デコード処理部33、入力部38、記録部40、ドライブ41、MPU211、表示部35とスピーカ36が接続された信号処理部212、および通信部213が、バス37を介して互いに接続されており、受信装置201に接続ケーブル(図示せず)を介して接続された外部の記録再生装置202が重畳を行う。なお、図1や図8と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
MPU211は、例えば、記録部40にインストールされたプログラムを実行することにより、入力部38から入力される指令などに対応して、各種の処理を実行する。例えば、MPU211は、図1のMPU31と同様に、ユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ32、デコード処理部33、および信号処理部212を制御し、そのチャンネルの番組信号に対応する画像を表示部35に表示させるとともに、音声をスピーカ36から出力させる。
また、MPU211は、通信部213から供給されるOSD表示指令とOSD情報に基づいて、補間停止指令とOSD情報を画像処理部221に供給する。さらに、MPU211は、通信部213から供給される、OSD終了指令に対応して、画像処理部221に補間再開指令を供給する。また、MPU211は、図1のMPU31と同様に、通信部213によりダウンロードされたプログラムや、ドライブ41に装着されたリムーバブルメディア42に記録されたプログラムを必要に応じて、記録部40にインストールする。
信号処理部212は、画像処理部221と音声処理部222により構成される。画像処理部221は、デコード処理部33から供給される入力画像信号、または、通信部213から供給される番組信号のうちの画像信号(以下、受信画像信号という)に対して、連続する画像信号の中間の時刻における画像信号の補間、D/A変換などの処理を施す。画像処理部221は、その結果得られるアナログ信号である画像信号を、表示部35に供給して、表示部35に画像を表示させる。
音声処理部222は、デコード処理部33または通信部213から供給される番組信号のうちの音声信号に対して、D/A変換などを行い、その結果得られるアナログ信号である音声信号を、スピーカ36に供給して、外部に音声を出力する。
通信部213は、外部の記録再生装置202と接続ケーブル(図示せず)を介して接続され、記録再生装置202と通信を行う。例えば、通信部213は、記録再生装置202から、OSD表示指令およびOSD情報、またはOSD終了指令を受信し、そのOSD表示指令およびOSD情報、またはOSD終了指令を、バス37を介してMPU211に供給する。また、通信部213は、記録再生装置202から番組信号を受信し、信号処理部212に供給する。さらに、通信部213は、図1や図8の通信部39と同様に、図示せぬインターネットなどのネットワークを介して、各種のデータの送受信を行う。例えば、通信部213は、図示せぬサーバからネットワークを介して所定のプログラムをダウンロードし、MPU211に供給する。
記録再生装置202は、例えば、DVD(Digital Versatile Disc)レコーダやハードディスクレコーダなどにより構成される。記録再生装置202は、ユーザの所望の番組の番組信号の電波を受信し、その番組信号をDVDやハードディスクなどの記録媒体に記録する。記録再生装置202は、ユーザの再生の指令に応じて、記録している番組信号を再生し、通信部213に送信する。
また、記録再生装置202は、ユーザからのOSD表示指令またはOSD終了指令に応じて、OSD表示指令およびOSD情報、または、OSD終了指令を通信部213に送信する。記録再生装置202は、OSD表示指令の送信後、再生した番組信号のうちの画像信号にOSD画像信号を重畳し、その結果得られる番組信号を、通信部213に送信する。
次に、図12を参照して、図11の受信装置201における補間について説明する。
なお、図12において、図2や図9と同一のものには同一の符号を付してあり、説明は繰り返しになるので、適宜省略する。
図12の記録再生装置202は、チューナ231、記録再生部232、デコード部233、OSD重畳部234、入力部235、および制御部236により構成される。
チューナ231は、制御部236の制御により、図示せぬ放送局から放射される番組信号の電波を受信して復調する。チューナ231は、復調の結果得られる番組信号を記録再生部232に供給して、記録させる。
記録再生部232は、そこに装着されるDVDなどのリムーバブルメディアや、内蔵するハードディスクなどの記録媒体(図示せず)に、チューナ231から供給される番組信号を記録する。記録再生部232は、制御部236の制御により、記録している番組信号を読み出し、デコード部233に供給する。
デコード部233は、制御部236の制御により、記録再生部232から供給される番組信号を所定の方式でデコードし、その結果得られる番組信号をOSD重畳部234に供給する。
OSD重畳部234は、制御部236から供給される重畳開始指令に応じて、予め記憶しているOSD画像信号を、デコード部233から供給される番組信号のうちの画像信号の、制御部236から供給されるOSD情報に基づく位置に重畳する。そして、OSD重畳部234は、その結果得られる番組信号を、SCART端子を介した通信やHDMI(High-Definition Multimedia Interface)通信などにより、受信装置201の通信部213に送信する。また、OSD重畳部234は、制御部236から供給される重畳停止指令に応じて、デコード部233から供給される番組信号をそのまま通信部213に送信する。
入力部235は、例えば、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、ボタン、キーボード、マウス、スイッチなどから構成され、ユーザからの指令を受け付ける。入力部235は、ユーザからの指令に応じて、各種の指令を制御部236に供給する。
例えば、入力部235は、ユーザからの所望のチャンネルの番組の記録または再生の指令に応じて、その番組を記録または再生するための指令を制御部236に供給する。また、入力部235は、ユーザからのOSD表示指令またはOSD終了指令に応じて、OSD表示指令およびOSD情報、またはOSD終了指令を制御部236に供給する。
制御部236は、入力部235から入力される指令などに対応して、各種の処理を実行する。例えば、制御部236は、入力部235から入力される、ユーザの所望のチャンネルの番組を記録するための指令に対応して、チューナ231を制御し、その番組の番組信号を記録再生部232に記録させる。また、制御部236は、入力部235から入力される、ユーザの所望のチャンネルの番組を再生するための指令に対応して、記録再生部232とデコード部233を制御し、その番組の番組信号を記録再生部232から再生する。
さらに、制御部236は、入力部235から入力される、OSD表示指令およびOSD情報に対応して、HDMI通信のCECライン(Consumer Electronics Control Line)やCENELEC(European Committee for Electrotechnical Standardization)においてEN-50157として規定されているAVリンク(AV Link)などにより、OSD表示指令とOSD情報を通信部213に送信し、その後、重畳開始指令とOSD情報をOSD重畳部234に供給する。また、制御部236は、OSD終了指令に対応して、重畳停止指令をOSD重畳部234に供給し、その後、HDMI通信のCECラインやAVリンクなどにより、OSD終了指令を通信部213に送信する。
通信部213は、制御部236から送信されてくるOSD表示指令およびOSD情報またはOSD終了指令を受信し、バス37を介してMPU211に供給する。また、通信部213は、OSD重畳部234から送信されてくる番組信号を受信し、その番組信号のうちの受信画像信号を画像処理部221の補間処理部72に供給する。なお、音声信号は音声処理部222(図11)に供給される。MPU211は、OSD表示指令とOSD情報に応じて、補間停止指令とOSD情報を、バス37を介して補間処理部72に供給する。また、MPU211は、OSD終了指令に応じて、補間再開指令を補間処理部72に供給する。
以上のように、受信装置201の外部の記録再生装置202の制御部236は、重畳開始指令の前に、OSD情報とOSD表示指令を受信装置201に送信して、OSD情報に基づく補間停止領域の、動きベクトルを用いた補間を停止させるので、OSD画像信号が外部の記録再生装置202により重畳される場合であっても、受信装置201は、補間後の画像信号の品質を向上させることができる。
次に、図13を参照して、図11の受信装置201と記録再生装置202におけるOSD重畳処理について説明する。このOSD重畳処理は、例えば、入力部235から、OSD表示指令とOSD情報が制御部236に供給されたとき、開始される。
ステップS201において、制御部236は、入力部235から供給される、OSD表示指令と、少なくとも1つのOSD画像のOSD情報を取得し、そのOSD情報のうちの1つを、受信装置201の通信部213を介してMPU211に送信する。
ステップS211において、MPU211は、制御部236から送信されてくるOSD情報を受信し、ステップS212において、そのOSD情報を、バス37を介して補間処理部72に送信する。ステップS241において、補間処理部72は、MPU211から送信されてくるOSD情報を受信し、ステップS242において、MPU211にOSD情報の通信の完了の通知を送信する。
ステップS213において、MPU211は、補間処理部72から送信されてくる通信の完了の通知を受信し、ステップS214において、制御部236にOSD情報の通信の完了の通知を送信する。ステップS202において、制御部236は、MPU211から送信されてくる通信の完了の通知を受信する。
以降も同様にして、入力部235から制御部236に供給されるOSD情報の数だけ、ステップS201およびS202、ステップS211乃至S214、並びに、ステップS241およびS242の処理が繰り返される。
その後、ステップS203において、制御部236は、OSD表示指令をMPU211に送信し、ステップS215において、MPU211は、そのOSD表示指令を受信する。ステップS216において、MPU211は、ステップS215で受信したOSD表示指令に応じて、補間停止指令を補間処理部72に送信し、ステップS243において、補間処理部72は、その補間停止指令を受信する。そして、補間処理部72は、この補間停止指令に応じて、補間停止領域における動きベクトルを用いた補間の停止を開始する。ステップS244において、補間処理部72は、補間停止指令の通信の完了の通知をMPU211に送信し、ステップS217において、MPU211は、その通知を受信する。
ステップS218において、MPU211は、OSD表示指令の通信の完了の通知を制御部236に送信し、ステップS204において、制御部236は、その通知を受信する。ステップS205において、制御部236は、OSD重畳部234に、重畳開始指令と、入力部235から取得した全てのOSD情報を送信する。ステップS251において、OSD重畳部234は、MPU31から送信されてくる重畳開始指令とOSD情報を受信し、その重畳開始指令に応じて、デコーダ233から供給される入力画像信号のOSD情報に基づく位置に対する、OSD画像信号の重畳を開始する。その結果、表示部35には、OSD画像が表示される。
以降も同様にして、入力部235から制御部236にOSD終了指令が供給されるまで、OSD表示指令が入力部235から制御部236に供給されるたびに、ステップS201乃至S205、ステップS211乃至S218、ステップS241乃至S244、並びに、ステップS251の処理が繰り返される。
ステップS206において、制御部236は、入力部235から供給されるOSD終了指令を取得し、そのOSD終了指令に応じて重畳停止指令をOSD重畳部234に送信する。ステップS252において、OSD重畳部234は、制御部236から送信されてくる重畳停止指令を受信し、その重畳停止指令に応じて、入力画像信号に対するOSD画像信号の重畳を終了する。その結果、表示部35には、OSD重畳部234によりステップS251の処理が行われてから、ステップS252の処理が行われるまでの間、OSD画像が表示される。
ステップS207において、制御部236は、OSD終了指令をMPU211に送信し、ステップS219において、MPU211は、そのOSD終了指令を受信する。ステップS220において、MPU211は、ステップS219で受信したOSD終了指令に応じて、補間再開指令を補間処理部72に送信し、ステップS245において、補間処理部72は、その補間再開指令を受信する。そして、補間処理部72は、この補間再開指令に応じて、全領域の動きベクトルを用いた補間を開始する。従って、ステップS243の処理が行われてから、ステップS245の処理が行われるまでの間、補間停止領域の動きベクトルを用いた補間が停止される。
ステップS246において、補間処理部72は、補間再開指令の通信の完了の通知をMPU211に送信し、ステップS221において、MPU211は、その通知を受信する。ステップS222において、MPU211は、OSD終了指令の通信の完了の通知を制御部236に送信し、ステップS208において、制御部236は、その通知を受信する。
なお、上述した説明では、連続する画像信号の中間の時刻における画像信号が補間されたが、中間の時刻に限らず、任意の時刻における画像信号が補間されるようにしてもよい。
また、重畳可能なOSD画像信号のOSD情報が予め決まっている場合には、OSD重畳部71(131,234)に、そのOSD情報を予め記憶させておき、入力部38(235)は、そのOSD情報を特定する情報(例えば、番号)を送信するようにしてもよい。この場合、OSD情報を送信する場合に比べて、送信する情報の量が少なくて済むので、素早く送信することができ、その結果、応答性を高めることができる。
さらに、上述した説明では、すべてのOSD画像の重畳を一度に停止させたが、OSD画像の重畳を個別に停止させるようにしてもよい。この場合、重畳停止指令や補間再開指令とともに、停止対象とするOSD画像のOSD情報が送信される。そして、そのOSD情報に基づいて補間停止領域が新たに指定され、停止対象とするOSD画像の重畳が停止される。
また、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した受信装置の第1の実施の形態の構成例を示すブロック図である。 図1の受信装置における補間について説明するブロック図である。 図2の補間処理部の詳細構成例を示すブロック図である。 図1の受信装置におけるOSD重畳処理について説明するフローチャートである。 図1の受信装置における他のOSD重畳処理について説明するフローチャートである。 図3の補間処理部における補間処理について説明するフローチャートである。 図2の補間処理部の他の詳細構成例を示すブロック図である。 本発明を適用した受信装置の第2の実施の形態の構成例を示すブロック図である。 図8の受信装置における補間について説明するブロック図である。 補間停止指令と補間再開指令の通知タイミングについて説明するタイミングチャートである。 本発明を適用した受信装置の第3の実施の形態の構成例を示すブロック図である。 図11の受信装置における補間について説明するブロック図である。 図11の受信装置におけるOSD重畳処理について説明するフローチャートである。
符号の説明
11 受信装置, 31 MPU, 37 バス, 71 OSD重畳部, 82 検出部, 83 移動部, 84 指定部, 85 混合部, 101 受信装置, 131 OSD重畳部, 132 CPU, 132A−1乃至132A−n ポート, 143 CPU, 201 受信装置, 202 記録再生装置, 211 MPU, 234 OSD重畳部, 235 入力部, 236 制御部

Claims (7)

  1. 入力された時系列の画像信号である入力画像信号の動きベクトルを検出する検出手段と、
    前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力する補間手段と、
    前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得する取得手段と、
    前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記補間を行わない補間停止領域を指定する指定手段と
    を備え、
    前記補間手段は、指定された前記補間停止領域に基づいて、その補間停止領域以外の領域において前記入力画像信号間信号を補間して出力する
    画像処理装置。
  2. 前記指定手段は、前記重畳情報に基づいて、前記入力画像信号における、少なくとも1つの前記動きベクトルを検出しない領域である検出停止領域を指定し、
    前記検出手段は、指定された前記検出停止領域に基づいて、その検出停止領域以外の領域において前記入力画像信号の動きベクトルを検出する
    請求項1に記載の画像処理装置。
  3. 前記入力画像信号に対して前記所定の画像信号を重畳する重畳手段
    をさらに備える請求項1に記載の画像処理装置。
  4. 前記取得手段と前記指定手段は、相互にバスを介して接続され、
    前記取得手段は、前記重畳情報を取得した場合、前記バスを介して、前記重畳が開始される前に、前記重畳情報を前記指定手段に送信し、
    前記指定手段は、前記取得手段から送信されてくる前記重畳情報を受信した場合、その重畳情報に基づいて、前記補間停止領域を指定する
    請求項1に記載の画像処理装置。
  5. 前記取得手段は、前記重畳情報を取得した場合、前記重畳が開始される前に、ポートを、前記重畳情報を表す状態にし、
    前記指定手段は、ポーリングにより、前記重畳が開始される前に前記ポートの状態を確認し、そのポートの状態が前記重畳情報を表す状態である場合、その重畳情報に基づいて、前記補間停止領域を指定する
    請求項1に記載の画像処理装置。
  6. 入力された時系列の画像信号である入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間する画像処理装置の画像処理方法において、
    前記入力画像信号の動きベクトルを検出し、
    前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得し、
    前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記動きベクトルに基づく補間を行わない補間停止領域を指定し、
    前記動きベクトルに基づいて、前記補間停止領域以外の領域において前記入力画像信号間信号を補間して出力する
    ステップを含む画像処理方法。
  7. 入力された時系列の画像信号である入力画像信号と、その入力画像信号の1つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間する補間処理を、コンピュータに行わせるプログラムにおいて、
    前記入力画像信号の動きベクトルを検出し、
    前記入力画像信号に対して重畳される所定の画像信号の、前記入力画像信号における位置に関する情報である重畳情報を取得し、
    前記重畳情報に基づいて、前記入力画像信号間信号における、少なくとも1つの前記動きベクトルに基づく補間を行わない補間停止領域を指定し、
    前記動きベクトルに基づいて、前記補間停止領域以外の領域において前記入力画像信号間信号を補間して出力する
    ステップを含む補間処理をコンピュータに行わせるプログラム。
JP2007130524A 2007-05-16 2007-05-16 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP5023805B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007130524A JP5023805B2 (ja) 2007-05-16 2007-05-16 画像処理装置および画像処理方法、並びにプログラム
TW097115377A TWI384866B (zh) 2007-05-16 2008-04-25 影像處理裝置、方法及程式
US12/151,135 US8600195B2 (en) 2007-05-16 2008-05-02 Image processing device, method and program
CN2008101002189A CN101309358B (zh) 2007-05-16 2008-05-16 图像处理装置、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007130524A JP5023805B2 (ja) 2007-05-16 2007-05-16 画像処理装置および画像処理方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2008288779A true JP2008288779A (ja) 2008-11-27
JP2008288779A5 JP2008288779A5 (ja) 2010-05-06
JP5023805B2 JP5023805B2 (ja) 2012-09-12

Family

ID=40125552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007130524A Expired - Fee Related JP5023805B2 (ja) 2007-05-16 2007-05-16 画像処理装置および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8600195B2 (ja)
JP (1) JP5023805B2 (ja)
CN (1) CN101309358B (ja)
TW (1) TWI384866B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154732A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016741A (ko) * 2008-08-05 2010-02-16 삼성전자주식회사 영상처리장치 및 그 제어 방법
CN105979196B (zh) * 2016-06-07 2018-10-30 华为技术有限公司 对摄像设备进行控制的方法及装置
CN111314629B (zh) * 2020-03-20 2022-12-06 上海依图网络科技有限公司 一种osd信息叠加方法及装置
US12010450B2 (en) * 2022-03-21 2024-06-11 Novatek Microelectronics Corp. On-screen display (OSD) image processing method
US12008729B2 (en) * 2022-03-21 2024-06-11 Novatek Microelectronics Corp. On-screen display (OSD) image processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169382A (ja) * 1997-08-27 1999-03-09 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法
JP2004120757A (ja) * 2002-09-24 2004-04-15 Matsushita Electric Ind Co Ltd 映像信号を処理するための方法および映像処理ユニット
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
WO2007040045A1 (ja) * 2005-09-30 2007-04-12 Sharp Kabushiki Kaisha 画像表示装置及び方法
JP2008160591A (ja) * 2006-12-25 2008-07-10 Hitachi Ltd テレビジョン受信機及びそのフレームレート変換方法
JP2008166969A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 映像信号処理回路、映像信号処理装置及び映像信号処理方法
JP2008236678A (ja) * 2007-03-23 2008-10-02 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに画像表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187089A (ja) * 1996-12-26 1998-07-14 Canon Inc 表示制御装置及び表示制御方法
JP3884885B2 (ja) 1999-07-29 2007-02-21 株式会社日立製作所 液晶表示装置
EP1199888B1 (en) * 2000-10-19 2006-09-13 Sanyo Electric Co., Ltd. Image data output device and receiving device
JP2003348446A (ja) * 2002-05-27 2003-12-05 Matsushita Electric Ind Co Ltd 映像信号処理装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
EP1592236A1 (en) * 2003-01-29 2005-11-02 Olympus Corporation Image sensing apparatus
JP4692845B2 (ja) * 2004-04-09 2011-06-01 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4692846B2 (ja) * 2004-04-09 2011-06-01 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7447382B2 (en) * 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
JP2006352246A (ja) 2005-06-13 2006-12-28 Fujinon Corp プロンプター装置
JP4878511B2 (ja) 2006-06-28 2012-02-15 独立行政法人物質・材料研究機構 Mx型炭窒化物析出強化型耐熱鋼
JP4933209B2 (ja) * 2006-10-05 2012-05-16 パナソニック株式会社 映像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169382A (ja) * 1997-08-27 1999-03-09 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法
JP2004120757A (ja) * 2002-09-24 2004-04-15 Matsushita Electric Ind Co Ltd 映像信号を処理するための方法および映像処理ユニット
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
WO2007040045A1 (ja) * 2005-09-30 2007-04-12 Sharp Kabushiki Kaisha 画像表示装置及び方法
JP2008160591A (ja) * 2006-12-25 2008-07-10 Hitachi Ltd テレビジョン受信機及びそのフレームレート変換方法
JP2008166969A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 映像信号処理回路、映像信号処理装置及び映像信号処理方法
JP2008236678A (ja) * 2007-03-23 2008-10-02 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに画像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154732A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
TWI384866B (zh) 2013-02-01
US20090087125A1 (en) 2009-04-02
JP5023805B2 (ja) 2012-09-12
CN101309358B (zh) 2010-11-03
TW200908716A (en) 2009-02-16
US8600195B2 (en) 2013-12-03
CN101309358A (zh) 2008-11-19

Similar Documents

Publication Publication Date Title
JP4618305B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5008677B2 (ja) 映像音声装置ネットワークおよび信号再生方法
JP5023893B2 (ja) 表示装置
JP5142554B2 (ja) 記録制御装置及び記録制御装置の制御方法
JP4840355B2 (ja) デジタル放送受信装置
JP5023805B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5040393B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに画像表示装置
JP5183231B2 (ja) 映像再生装置及び制御方法
JP2007089013A (ja) 操作画面を高速に出画するav機器
JP2009296081A (ja) 映像再生装置
JP5023780B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2010011183A (ja) 使用状況監視装置及び外部接続装置の監視方法及びテレビジョン受信装置
JP5029112B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2008054172A (ja) 映像・音声システムの信号出力設定方法及び映像音声出力装置
JP2011176537A (ja) 映像信号処理装置
JP2010093529A (ja) 表示装置
JP2006019809A (ja) 映像信号受信装置及び映像信号受信方法
JP2010061774A (ja) 再生装置、再生制御方法、およびプログラム
JP5094235B2 (ja) 映像出力装置及びその制御方法
JP2007124560A (ja) 映像出力装置
JP4374048B2 (ja) 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
JP2010220260A (ja) 使用状況監視装置及び外部接続装置の監視方法及びテレビジョン受信装置
JP2012095122A (ja) テレビジョン受像機
JP2008061056A (ja) テレビジョン受像機
KR20060084552A (ko) 방송 프로그램 녹화기에서의 녹화 화질 제어장치 및 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5023805

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees