JP4190576B2 - 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置 - Google Patents

撮像信号処理装置及び撮像信号処理方法、並びに撮像装置 Download PDF

Info

Publication number
JP4190576B2
JP4190576B2 JP50862396A JP50862396A JP4190576B2 JP 4190576 B2 JP4190576 B2 JP 4190576B2 JP 50862396 A JP50862396 A JP 50862396A JP 50862396 A JP50862396 A JP 50862396A JP 4190576 B2 JP4190576 B2 JP 4190576B2
Authority
JP
Japan
Prior art keywords
signal
imaging
prediction coefficient
class
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP50862396A
Other languages
English (en)
Inventor
哲二郎 近藤
邦雄 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP4190576B2 publication Critical patent/JP4190576B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

技術分野
本発明は、電荷結合素子(CCD)からの撮像信号を処理する撮像信号処理装置及び撮像信号処理方法、並びにCCDを用いて高解像度の映像信号を得る撮像装置に関する。
背景技術
電荷結合素子(CCD)を用いて被写体を撮像し、映像信号を出力する撮像装置が知られている。この従来の撮像装置について、図1、図2を用いて説明する。
図1は、CCDを1つ用いて映像信号を得る単板方式の撮像装置の一例の構成を示すブロック図である。
光学系1に入射された被撮像光は、色フィルタ2を介してCCD3に入射される。この色フィルタ2は、例えば黄色フィルタ、シアンフィルタ及びマゼンタフィルタからなる補色フィルタである。この色フィルタ2を介してCCD3に入射された被撮像光は、CCD3にて光電変換されて、撮像信号としてビデオアンプ4に供給される。この撮像信号は、ビデオアンプ4にて所定のレベルにまで増幅された後に、A/D変換回路5に供給される。このA/D変換回路5にて、撮像信号が所定のビット数のディジタル信号に変換される。A/D変換回路5にてディジタル信号に変換された撮像信号は、色分離回路6に供給される。
この色分離回路6は、入力されたディジタル撮像信号をR信号成分、G信号成分及びB信号成分に分け、夫々を信号処理回路7に供給する。信号処理回路7は、供給されたR信号成分、G信号成分及びB信号成分に夫々所定の信号処理及びマトリクス演算を施して、輝度信号Y及び色差信号R−Y、B−Yを生成する。この信号処理回路7にて生成された色差信号R−Y、B−Yは、変調回路8に供給される。
この変調回路8は、色副搬送波信号を色差信号R−Y、B−Yによって直交2軸(二相)変調し、得られる搬送色信号(以下、色信号という。)を加算器9の一方の入力端に供給する。この加算器9の他方の入力端には、信号処理回路7より輝度信号Yが供給され、この輝度信号Yと変調回路8からの色信号とが加算されてディジタル複合映像信号が生成され、出力端子10より出力される。
この図1に示す撮像装置においては、1つの撮像素子を用いて、被撮像光からR信号成分、G信号成分及びB信号成分を得る構成とされているので、小型軽量であり、持ち運びには適しているが、R信号成分、G信号成分及びB信号成分の夫々に割り当てられる画素数が比較的少ないため、撮像信号の解像度、すなわち出力端子10から出力される複合映像信号が有する解像度が比較的低いといった問題がある。
この解像度を上げるために、CCDを3つ使用して撮像信号を得る3板方式の撮像装置も知られている。この3板方式の撮像装置の一例について、図2を参照しながら説明する。
この図2において、被撮像光が光学系21を介して色分解プリズム22に入射される。色分解プリズム22は、被撮像光を、赤色光、緑色光及び青色光に分光し、夫々赤色撮像用CCD23、緑色撮像用CCD24及び青色撮像用CCD25に入射させる。
赤色撮像用CCD23、緑色撮像用CCD24及び青色撮像用CCD25は、入射された赤色光、緑色光及び青色光を夫々光電交換し、R信号成分、G信号成分及びB信号成分を出力する。これらのR信号成分、G信号成分及びB信号成分は、ビデオアンプ26、27及び28に夫々供給される。ビデオアンプ26、27及び28は、供給されたR信号成分、G信号成分及びB信号成分を夫々所定のレベルに増幅して、A/D変換回路29、30及び31に夫々供給する。これらのA/D変換回路29、30及び31にて、R信号成分、G信号成分及びB信号成分が夫々所定のビット数のディジタル信号に変換される。これらのA/D変換回路29、30及び31にて夫々ディジタル信号に変換されたR信号成分、G信号成分及びB信号成分は、信号処理回路32に供給される。
この信号処理回路32は、供給されたR信号成分、G信号成分及びB信号成分に夫々所定の信号処理及びマトリクス演算処理を施して、輝度信号Y及び色差信号R−Y、B−Yを生成する。この信号処理回路32にて生成された色差信号R−Y、B−Yは、変調回路34に供給される。
この変調回路34は、色副搬送波信号を色差信号R−Y、B−Yによって直交2軸変調し、得られる色信号を加算器35の一方の入力端に供給する。この加算器35の他方の入力端には、信号処理回路32より輝度信号Yが供給され、この輝度信号Yと変調回路34からの色信号とが加算されてディジタル複合映像信号が生成され、出力端子36より出力される。
また、信号処理回路32から出力される輝度信号Y、色差信号R−Y、B−Yは、コンポーネント信号として、出力端子37、38及び39から夫々出力される。
この図2に示す撮像装置においては、3つの撮像素子を用いて、被撮像光からR信号成分、G信号成分及びB信号成分を得る構成とされているので、図1に示される単板方式の撮像装置から出力される映像信号の解像度よりも高い解像度の映像信号を得ることができる。
しかしながら、近年、NTSC方式の解像度よりも高い解像度を有する高品位テレビジョン方式が開発されており、この高品位テレビジョン方式にも適用できる高解像度の映像信号を得るためには、3つのCCDを用いた撮像装置であっても、NTSC方式の映像信号を得る場合よりもさらに画素数の多いCCDを用いる必要がある。CCDは、その画素数が多くなるほど、製造が難しくなり、コストが高くなる。その結果、撮像装置全体のコストが高くなるといった問題がある。
本発明は、上述の実情を考慮してなされたものであり、本発明の目的は、CCDの画素数を増加させることなく、高解像度の映像信号を得ることができる撮像装置を提供することである。
発明の開示
本発明は、上述の実情を考慮してなされたものであり、本発明の目的は、CCDの画素数を増加させることなく、高解像度の映像信号を得ることができる撮像信号処理装置及び撮像信号処理方法、並びに撮像装置を提供することである。
このため、本発明に係る撮像信号処理装置は、撮像信号から得られた輝度信号及び色信号が供給され、該輝度信号及び色信号から複合映像信号を生成する合成手段と、高解像度の複合映像信号を生成して出力するために予め学習によって決定された予測係数が格納されている予測係数記憶手段と、上記予測係数記憶手段のアドレス信号として用いられるクラス信号を発生するクラス検出手段と上記予測係数記憶手段から出力される予測係数を用いて、上記合成手段からの複合映像信号に予測演算処理を施して、上記入力された信号から高解像度の信号を生成する予測演算手段とを有する。
また、本発明に係る撮像信号処理方法は、撮像信号から得られた輝度信号及び色信号が供給され、該輝度信号及び色信号から複合映像信号を生成する合成工程と、高解像度の複合映像信号を生成して出力するために予め学習によって決定された予測係数が格納されている予測係数記憶手段から予測係数を読み出すのにアドレス信号として用いるクラス信号を発生するクラス検出工程と、上記予測係数記憶手段から出力される予測係数を用いて、上記合成工程からの複合映像信号に予測演算処理を施して、上記入力された信号から高解像度の信号を生成する予測演算工程とを有する。
また、本発明に係る撮像装置は、入力された被撮像光を撮像信号に変換する撮像手段と、上記撮像手段から上記撮像信号が供給され、該撮像信号から輝度信号及び色信号を生成する信号処理手段と、上記信号処理手段から上記輝度信号及び色信号が供給され、該輝度信号及び色信号から複合映像信号を生成する合成手段と、高解像度の複合映像信号を生成して出力するために予め学習によって決定された予測係数が格納されている予測係数記憶手段と、上記予測係数記憶手段のアドレス信号として用いられるクラス信号を発生するクラス検出手段と上記予測係数記憶手段から出力される予測係数を用いて、上記合成手段からの復号映像信号に予測演算処理を施して、上記入力された信号から高解像度の信号を生成する予測演算手段とを有する。
【図面の簡単な説明】
図1は、従来の撮像装置の一例の構成を示すブロック図である。
図2は、従来の撮像装置の他の例の構成を示すブロック図である。
図3は、本発明の撮像装置の一実施例の構成を示すブロック図である。
図4は、SD信号の画素とHD信号の画素の2次元配列を示すための略線図である。
図5は、SD信号の画素とHD信号の画素の1次元配列を示すための略線図である。
図6は、ADRC符号化の説明のための信号レベル変化を示す略線図である。
図7は、ADRC符号化における量子化特性を説明するための略線図である。
図8は、1ビットADRCの符号化回路の一例の構成を示すブロック図である。
図9は、複数のHD画素の値を予測するときに使用されるSD画素を示す略線図である。
図10は、信号変換部の動作を説明するためのフローチャートである。
図11は、予測係数を決定する学習時の構成を概略的に示すブロック図である。
図12は、学習時の動作を説明するためのフローチャートである。
図13は、本発明の撮像装置の第2の実施例の構成を示すブロック図である。
図14は、本発明の撮像装置の第3の実施例の構成を示すブロック図である。
図15は、本発明の撮像装置の第4の実施例の構成を示すブロック図である。
発明を実施するための最良の形態
以下、本発明の好適な実施例を図面を参照しながら説明する。
まず、本発明の第1の実施例を図3を参照しながら説明する。この第1の実施例は、固体撮像素子である電荷結合素子(Charge Coupled Device)(以下、CCDという。)を1枚用いて、光の3原色信号である赤(R)信号成分、緑(G)信号成分及び青(B)信号成分を取り出し、この各信号成分を高解像度の信号成分に変換した後に合成して高解像度の複合映像信号を生成する撮像装置である。ここで、以下、高解像度の信号成分に変換する前の信号成分を通常精度(Standard Definition)の信号成分としてSD信号と呼び、変換後の信号成分を高精度(High Definition)の信号成分としてHD信号と呼ぶ。
図3において、図1と対応する部分については、同じ番号を付して説明する。
光学系1に入射された被撮像光は、色フィルタ2を介してCCD3に入射される。この色フィルタ2は、例えば黄色フィルタ、シアンフィルタ及びマゼンタフィルタからなる補色フィルタである。この色フィルタ2を介してCCD3に入射された被撮像光は、CCD3にて光電変換されて、撮像信号としてビデオアンプ4に供給される。この撮像信号は、ビデオアンプ4にて所定のレベルにまで増幅された後に、A/D変換回路5に供給される。このA/D変換回路5にて、撮像信号が所定のビット数のディジタル信号に変換される。A/D変換回路5にてディジタル信号に変換された撮像信号は、色分離回路6に供給される。
この色分離回路6は、入力されたディジタル撮像信号をR信号成分、G信号成分及びB信号成分に分け、夫々をR信号変換部50、G信号変換部60及びB信号変換部70に供給する。
R信号変換部50は、上述の図3に示すように、色分離回路6から供給されたR信号成分を複数のブロックに分割するブロック化回路51と、ブロック化回路51から供給されるR信号成分を各ブロック毎に圧縮するデータ圧縮回路52と、このデータ圧縮回路52にて圧縮されたR信号成分の各ブロックをR信号成分のレベル部分のパターンに基づいてそのブロックが属すべきクラスを決定してクラスコードを発生するクラスコード発生回路53と、このクラスコード発生回路53から供給されるクラスコードに対応した予測係数を出力する予測係数メモリ54と、この予測係数メモリ54から供給される予測係数を用いてブロック化回路51から出力されるR信号成分について各ブロック毎に予測演算を行い、色分離回路6から出力されるR信号成分の解像度よりも高い解像度のR信号成分を生成する予測値生成回路55とを有する。
また、G信号変換部60は、上述の図3に示すように、色分離回路6から供給されたG信号成分を複数のブロックに分割するブロック化回路61と、ブロック化回路61から供給されるG信号成分を各ブロック毎に圧縮するデータ圧縮回路62と、このデータ圧縮回路62にて圧縮されたG信号成分の各ブロックをG信号成分のレベル部分のパターンに基づいてそのブロックが属すべきクラスを決定してクラスコードを発生するクラスコード発生回路63と、このクラスコード発生回路63から供給されるクラスコードに対応した予測係数を出力する予測係数メモリ64と、この予測係数メモリ64から供給される予測係数を用いてブロック化回路61から出力されるG信号成分について各ブロック毎に予測演算を行い、色分離回路6から出力されるG信号成分の解像度よりも高い解像度のG信号成分を生成する予測値生成回路65とを有する。
また、B信号変換部70は、上述の図3に示すように、色分離回路6から供給されたB信号成分を複数のブロックに分割するブロック化回路71と、ブロック化回路71から供給されるB信号成分を各ブロック毎に圧縮するデータ圧縮回路72と、このデータ圧縮回路72にて圧縮されたB信号成分の各ブロックをB信号成分のレベル部分のパターンに基づいてそのブロックが属すべきクラスを決定してクラスコードを発生するクラスコード発生回路73と、このクラスコード発生回路73から供給されるクラスコードに対応した予測係数を出力する予測係数メモリ74と、この予測係数メモリ74から供給される予測係数を用いてブロック化回路71から出力されるB信号成分について各ブロック毎に予測演算を行い、色分離回路6から出力されるB信号成分の解像度よりも高い解像度のB信号成分を生成する予測値生成回路75とを有する。
R信号変換部50、G信号変換部60及びB信号変換部70から夫々出力される高解像度のR信号成分、高解像度のG信号成分及び高解像度のB信号成分は、信号処理回路80に供給される。
この信号処理回路80は、供給された高解像度のR信号成分、高解像度のG信号成分及び高解像度のB信号成分に夫々所定の信号処理及びマトリクス演算を施して、高解像度の輝度信号Y及び高解像度の色差信号R−Y、B−Yを生成する。この信号処理回路80の構成及び動作原理については周知なので、その詳細な説明は省略する。ただし、図1に示される従来の撮像装置の信号処理回路7に比べ、高速レートでの処理が可能な構成とされている。
この信号処理回路80にて生成された高解像度の色差信号R−Y、B−Yは、変調回路81に供給される。変調回路81は、色副搬送波信号を高解像度の色差信号R−Y、B−Yによって直交2軸(二相)変調し、得られる高解像度の搬送色信号(以下、色信号という。)を加算器82の一方の入力端に供給する。この加算器82の他方の入力端には、信号処理回路80より高解像度の輝度信号Yが供給され、この高解像度の輝度信号Yと変調回路81からの高解像度の色信号とが加算されて高解像度のディジタル複合映像信号が生成され、出力端子10より出力される。なお、変調回路81及び加算器82は、図1に示される従来の撮像装置の変調回路8及び加算器9に比べ、高速レートでの処理が可能な構成とされている。
つぎに、図3に示される本発明の撮像装置の第1の実施例の動作を説明する。
光学系1及び色フィルタ2を介してCCD3に入射された被撮像光は光電変換され、得られる撮像信号はビデオアンプ4で所定のレベルに増幅される。この所定のレベルに増幅された撮像信号は、A/D変換回路5にてディジタル撮像信号に変換されて色分離回路6に供給され、この色分離回路6にて、R信号成分、G信号成分及びB信号成分に分けられる。分離されたR信号成分、G信号成分及びB信号成分は夫々R信号変換部50、G信号変換部60及びB信号変換部70に供給され、夫々高解像度のR信号成分、高解像度のG信号成分及び高解像度のB信号成分に変換される。これらの高解像度のR信号成分、高解像度のG信号成分及び高解像度のB信号成分は、信号処理回路80に供給され、これらの信号成分から高解像度の輝度信号Y及び高解像度の色差信号R−Y、B−Yが生成される。
高解像度の色差信号R−Y、B−Yは変調回路81に供給され、色副搬送波信号を直交2軸変調することにより、高解像度の色信号に変換される。信号処理回路80から出力される高解像度の輝度信号Yと変調回路81から出力される高解像度の色信号とを加算器82にて加算することによって、出力端子10から高解像度の複合映像信号が得られる。
このようにして、CCDの画素数は従来の撮像装置に用いられているCCDの画素数と同じでも、従来の撮像装置の出力複合映像信号の解像度に比べて解像度が高い複合映像信号を得ることができる。
つぎに、本発明の撮像装置に用いられているR信号変換部50、G信号変換部60及びB信号変換部70の構成及び動作原理の詳細について説明する。
これらR信号変換部50、G信号変換部60及びB信号変換部70の構成及び動作原理は互いに同じなので、R信号変換部50を例にとって説明する。なお、この信号変換部の構成及び動作原理については、国際公開番号WO 94/14278の公報にも記載されているが、ここでは、本発明の撮像装置を構成する上で最低限必要な構成及び動作原理について説明する。
図3において、R信号変換部50のブロック化回路51に供給されるSD信号は、所定のサンプリング周波数でもって、1画素が8ビットのディジタル信号とされたものである。このブロック化回路51は、ラスター走査順のデータを1次元ブロック、2次元ブロック又は3次元ブロックの順序のデータに変換する。
ブロック化回路51の出力信号がデータ圧縮回路52及び予測値生成回路55に供給される。データ圧縮回路52の出力データがクラスコード発生回路53に供給される。クラスコード発生回路53からのクラスコードがアドレス信号として予測係数メモリ54に供給される。予測係数メモリ54には、予め学習によって決定された予測係数が格納されている。予測係数メモリ54からの予測係数が予測値生成回路55に供給される。
データ圧縮回路52及びクラスコード発生回路53は、予測の対象の注目画素のクラス分けを行うためのものであり、クラス分けは、注目画素を含むブロック毎のレベル分布のパターンに従ってなされる。このクラス分けで決定されたクラスを指示するクラスコードがクラスコード発生回路53から出力される。クラス分けは、SD信号に基づいてなされるが、注目画素の周辺の複数のSD信号の画素(以下、SD画素という。)の値(8ビット)をそのままクラス分けのために参照すると、クラス数が多くなり過ぎる問題がある。そこで、データ圧縮回路52が設けられており、参照される周辺の画素(参照画素)のビット数が圧縮される。データ圧縮回路52の一例は、ADRC符号化回路である。
なお、データ圧縮としては、ADRC符号化(Adaptive Dynamic Range Coding)に限らず、DCT(Discrete Cosine Transform)、VQ(ベクトル量子化)、DPCM(Differential Pulse Code Modulation)、BTC(Block Trancation Coding)、非線形量子化等を選択的に使用することができる。
ブロック化回路51では、テレビジョン信号のラスター走査の順序から図4に示すような2次元ブロックのデータの順序へ入力SD信号を走査変換する。図4の例では、3×3画素が1ブロックとされ、a〜iの値をそれぞれ有する9個のSD画素が1ブロックに含まれる。この1ブロックのSD画素によって、中心付近に位置する4個のHD画素A〜Dの値が予測値生成回路55において生成される。
図4に示されるブロックは、単なる一例であり、代わりに、例えば図5に示されるように4個のSD画素a〜dからなる1次元ブロックを用いて、HD画素の予測値を生成することもできる。さらに、3次元ブロックに対しても、HD画素の予測値を生成することができる。
図5の1次元配列において、SD画素a、b、cからHD画素Aのクラス分けと予測値の生成がなされ、SD画素a、b、c、dからHD画素Bのクラス分けと予測値の生成がなされる。また、学習の場合も同様の関係でクラス分けと予測値の生成がなされる。
ここで、データ圧縮回路52として採用することができるADRC符号化について説明する。
ADRCは、画素の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。例えば図6に示すように、8ビットの原データが有する0〜255のダイナミックレンジの中で、各ブロック毎に再量子化するのに必要なブロック内のダイナミックレンジA、Bは、原ダイナミックレンジに比して大幅に小さい。このため、再量子化に必要なビット数は、元の8ビットより大幅に低減することができる。
元のビット数(8ビット)より少ない割当てビット数をp、ブロックのダイナミックレンジをDR、ブロック内のある画素の値をx、再量子化コードをQとすると、次の式(1)によりブロック内の最大値MAXと最小値MINとの間を2p個に均等に分割して再量子化を行う。図7(a)にp=3の場合の再量子化を示す。
DR=MAX−MIN+1
Q=[(x−MIN+0.5)×2p/DR] (1)
ここで、[z]は、z以下の最大の整数を表す。
次に、図7(a)におけるpビット再量子化の階調レベルの中の(2p−1)に相当するデータレベルを有するブロック内画素の平均値を計算し、これを図7(b)に示すように、新たな最大値MAX’とする。また、再量子化の階調レベル0に相当するデータレベルを有するブロック内の画素の平均値を新たな最小値MIN’とする。新しく求められた最大値MAX’及び最小値MIN’からダイナミックレンジを定義し直して、次の式(2)によって、再量子化を行う。
DR’=MAX’−MIN’
q=[(x−MIN’)×(2p−1)/DR’+0.5] (2)
ここで、[z]は、z以下の最大の整数を表す。
このような新たな最大値MAX’、最小値MIN’、ダイナミックレンジDR’を定義し直すADRCは、ノイズの影響を受けることなく、効率の良い情報量の圧縮を行うことができる。
さらに、ADRCにおける量子化として、復元される代表レベルとして、最大値MAX及び最小値MINと等しいレベルを持つような特性も可能である。
2次元ブロックの例では、上述のADRCによって、8ビットの値a〜iから各pビットへ圧縮されたn画素の値がクラスコード発生回路53へ供給され、式(3)によって表されるクラスを指示するクラスコードclassが生成される。
Figure 0004190576
ここで、1ビットADRCを例にとって、ADRC符号化回路について図8を参照して説明する。
図8において、入力端子121からのブロックの順序に変換されたデータに対して、検出回路122は、各ブロック内の画素の値の最大値MAX、最小値MINを検出する。減算回路123は、これらの最大値MAX及び最小値MINが供給され、最大値MAXから最小値MINを減算してダイナミックレンジDRを出力する。一方、減算回路124は、入力データ及び最小値MINが供給され、入力データから最小値MINを減算して、正規化された画素データを出力する。
割算回路125は、正規化された入力データ及びダイナミックレンジDRが供給され、正規化された画素データをダイナミックレンジDRで割り算して比較回路126に供給する。比較回路126は、9個の画素の割算結果が0.5を基準として、より大きいか、より小さいかの判断を行い、この結果に応じて‘0’又は‘1’の1ビットデータDTを発生する。このデータDTが出力端子127から取り出される。この1ビットADRCを用いてクラス分けを行えば、3×3画素のSDブロックのクラスが、9ビットのクラスコードで表現される。
図3に戻って説明すると、クラスコードと対応する予測係数が予測係数メモリ54から読み出され、予測値生成回路55では、ブロック化回路51から供給されたブロック単位のSDデータと、読み出された予測係数w1〜wNとから、式(4)に示す線形1次結合に従った演算により、HD画素の予測値y’が生成される。
y’=w11+w22+・・・+wnn (4)
上述の図4の例では、(n=1、2、・・・・、9)である。予測対象である注目HD画素の位置に対応して、図9に示す関係でもって、所定のSDデータがx1〜x9として用いられる。
すなわち、1ブロック内の4個のHD画素A〜Dのそれぞれの予測値を生成するときに、注目HD画素に応じて予測係数と組み合わされるSD画素が変更される。例えば注目HD画素がAの場合、式(5)により、HD画素Aの予測値が生成される。
y’=w1a+w2b+w3c+・・・+wni (5)
また、例えば注目HD画素がBの場合、式(6)により、HD画素Bの予測値が生成される。
y’=w1a+w2d+w3c+・・・+wne (6)
このように、同じブロック(言い換えると同じクラス)の4個のHD画素の予測値を生成するための係数を共通することでき、予測係数メモリ54の容量の削減と予測係数メモリ54に対するアクセス回数を少なくすることができる。図9の係数に乗じられる値x1〜x9とSD画素a〜iの対応関係は、注目HD画素とSD画素間の距離に基づいて規定されたものである。
ここで、x1〜x9は、例えば1ビットADRCで形成されたクラスコードの9ビットと考えることもできる。すなわち、1ブロックの中心付近のHD画素A〜Dのそれぞれに関するクラスは、SD画素a〜iの値を圧縮符号化した値の順序を変えるのみで、規定することができる。そして、これらの値をメモリに蓄えておき、読出し順序を変更すればよい。
図10は、SD信号からHD信号へのアップコンバートの処理の順序を示すフローチャートである。
ステップ131からアップコンバートの制御が開始され、ステップ132のデータブロック化では、SD信号が供給され、図4に示すようにSD画素を処理ブロック単位に取り出す処理を行う。ステップ133のデータ終了では、入力された全データの処理が終了していれば、ステップ137の終了へ、終了していなければ、ステップ134のクラス決定へ処理が移る。
ステップ134のクラス決定では、SD信号の信号レベルの分布で定まるパターンからクラスが決定される。例えば1ビットADRCによって圧縮されたデータによりクラスが決定される。ステップ135では、クラスコードに対応する予測係数をメモリから読み出す。ステップ136の予測演算では、式(4)の演算を行い、HD画素の予測値y’を出力する。この一連の処理が全データに対し繰り返され、全データが終了すればステップ133のデータ終了からステップ137の終了に処理が移り、アップコンバートの処理が終了する。
上述のように、予測係数メモリ54には、予め学習により得られた予測係数が記憶されている。ここで、この学習について説明する。図11は、予測係数を学習により得る装置の構成を示すブロック図である。
入力端子141を介して、標準的なHD信号の静止画像が多数枚入力され、垂直間引きフィルタ142及び学習部144にへ供給される。垂直間引きフィルタ142は、HD信号を垂直方向に間引きし、この垂直間引きフィルタ142に接続された水平間引きフィルタ143は、HD信号を水平方向に1/2に間引きし、これにより、SD信号と同等の画素数の画像信号が学習部144に供給される。予測係数メモリ145は、学習部144内に設けられているクラス分け回路で決定されたクラスと対応するアドレスに予測係数w1〜wnを記憶する。
HD信号からSD信号を形成する方法としては、上述のような間引きフィルタを使用するのに限らず、他の方法が可能である。例えば図4の画素配置のように、2×2画素の4画素(例えばA、B、C、D)の平均値によってSD画素aの値を形成しても良い。さらに、単純平均値ではなく、より広い範囲内のHD画素(例えば1ブロックのHD画素)の値の距離に応じた加重平均値をSD画素の値としても良い。
学習部144では、図4の配列のように、3×3のSD画素によって1ブロックが構成される場合、画素a〜iとHD画素A、B、C、Dが一組の学習データとなる。1フレームに関して多数組の学習データが存在し、且つ、フレーム数を増加させることにより非常に多数の組の学習データを利用することができる。
SD画素a〜iを圧縮し、圧縮されたSD画素の値の2次元分布のパターンによりクラスを決定するクラス分けと、各クラスの予測係数を最小二乗法により決定する演算処理とを学習部144が行う。クラス分けは、図3のデータ圧縮回路52とクラスコード発生回路53が行う処理と同一のものである。この学習部144をソフトウェア処理の構成とした時のその動作を示すフローチャートを図12に示す。
ステップ151から学習部144の処理が開始され、ステップ152の対応データブロック化では、HD信号とSD信号が供給され、図4に示すような配列関係にあるHD画素A〜D及びSD画素a〜iを取り出す処理を行う。ステップ153のデータ終了では、入力された全データ例えば1フレームのデータの処理が終了していれば、ステップ156の予測係数決定へ、終了していなければ、ステップ154のクラス決定へ処理が移る。
ステップ154のクラス決定では、予測対象のHD画素A〜Dの周辺の複数のSD画素a〜iのレベル分布のパターンからクラスが決定される。この制御では、ビット数削減のため上述のように、SD画素が例えばADRC符号化によって圧縮される。ステップ155の正規方程式加算では、後述する式(12)、式(13)及び式(14)の方程式を作成する。
ステップ153のデータ終了から全データの処理が終了後、処理がステップ156に移り、ステップ156の予測係数決定では、後述する式(14)を行列解法を用いて解いて、予測係数を決める。ステップ157の予測係数ストアで、予測係数をメモリにストアし、ステップ158で学習部144の一連の動作が終了する。
図4の画素配列を使用して、SD画素a〜iを圧縮符号化し、符号化された値に基づいてクラス分けがされることは、上述の信号変換部と同様である。また、SD画素a〜iの値と予測係数w1〜w9との線形1次結合によって、HD画素A〜Dの予測値を図9に示す組合せでもって生成する点も上述と同様である。
ここで、HD画素の値をSD画素の値から予測するための係数を求める処理をより詳細に説明する。
SD画素の値をxi〜xnとし、注目HD画素の真値をyとしたとき、クラス毎に予測係数wi〜wnによるnタップの線形1次結合は、式(7)で表される。
y’=w11+w22+・・・+wnn (7)
学習前は、wiが未定係数である。
上述のように、学習はクラス毎に複数のHDデータ及びSDデータに対して行う。データ数がmの場合、式(7)は式(8)に示すように表される。
j’=w1j1+w2j2+・・・+wnjn (8)
(但し、j=1、2、・・・m)
m>nの場合、wi〜wnは一意には決まらないので、誤差ベクトルeの要素を式(9)により定義して、次の式(10)を最小にする予測係数を求める。
Figure 0004190576
式(10)は、いわゆる最小自乗法による解法である。ここで、式(11)に示すように、式(10)のwiによる偏微分係数を求める。
Figure 0004190576
そして、この式(11)を0にするような各wiを決めれば、予測係数を求めることができる。従って、
Figure 0004190576
として、行列を用いると、
Figure 0004190576
となり、掃き出し法等の一般的な行列解法を用いて、式(14)をwiについて解けば、予測係数wiが求まる。そして、クラスコードをアドレスとして、この予測係数wiをメモリに格納しておく。
以上のように学習部144が実データであるHD信号を用いて予測係数wiを決定することができ、これがメモリに格納される。そして、学習部144で決定された予測係数が図3の予測係数メモリ54に蓄えられている。
つぎに、本発明の撮像装置の第2の実施例について図13を参照しながら説明する。なお、図2に示される従来の撮像装置と同じ部分については同じ番号を付して説明する。
この図13において、被撮像光が光学系21を介して色分解プリズム22に入射される。色分解プリズム22は、被撮像光を、赤色光、緑色光及び青色光に分光し、夫々赤色撮像用CCD23、緑色撮像用CCD24及び青色撮像用CCD25に入射させる。
赤色撮像用CCD23、緑色撮像用CCD24及び青色撮像用CCD25は、入射された赤色光、緑色光及び青色光を夫々光電変換し、R信号成分、G信号成分及びB信号成分を出力する。これらのR信号成分、G信号成分及びB信号成分は、ビデオアンプ26、27及び28に夫々供給される。ビデオアンプ26、27及び28は、供給されたR信号成分、G信号成分及びB信号成分を夫々所定のレベルに増幅して、A/D変換回路29、30及び31に夫々供給する。これらのA/D変換回路29、30及び31にて、R信号成分、G信号成分及びB信号成分が夫々所定のビット数のディジタル信号に変換される。これらのA/D変換回路29、30及び31にて夫々ディジタル信号に変換されたR信号成分、G信号成分及びB信号成分は、夫々R信号変換部200、G信号変換部210及びB信号変換部220に供給される。
R信号変換部200は、上述の図13に示すように、ブロック化回路201、データ圧縮回路202、クラスコード発生回路203、予測係数メモリ204及び予測値生成回路205を備える。
また、G信号変換部210は、上述の図13に示すように、ブロック化回路211、データ圧縮回路212、クラスコード発生回路213、予測係数メモリ214及び予測値生成回路215を備える。
また、B信号変換部220は、上述の図13に示すように、ブロック化回路221、データ圧縮回路222、クラスコード発生回路223、予測係数メモリ224及び予測値生成回路225を備える。
これらのR信号変換部200、G信号変換部210及びB信号変換部220の構成及び動作原理は、図3にて示されるR信号変換部50の構成及び動作原理と同じであるため、その説明を省略する。
R信号変換部200、G信号変換部210及びB信号変換部220にて夫々生成された高解像度のR信号成分、高解像度のG信号成分及び高解像度のB信号成分は、信号処理回路230に供給される。信号処理回路230は、供給された高解像度のR信号成分、高解像度のG信号成分及び高解像度のB信号成分に夫々所定の信号処理及びマトリクス演算を施して、高解像度の輝度信号Y及び高解像度の色差信号R−Y、B−Yを生成する。この信号処理回路230にて生成された高解像度の色差信号R−Y、B−Yは、変調回路240に供給される。
この変調回路240は、色副搬送波信号を高解像度の色差信号R−Y、B−Yによって直交2軸変調し、得られる高解像度の色信号を加算器250の一方の入力端に供給する。この加算器250の他方の入力端には、信号処理回路230より高解像度の輝度信号Yが供給され、この高解像度の輝度信号Yと変調回路240からの高解像度の色信号とが加算されて高解像度のディジタル複合映像信号が生成され、出力端子260より出力される。なお、信号処理回路230、変調回路240及び加算器250は、図2に示される従来の撮像装置で用いられる信号処理回路32、変調回路34及び加算器35よりも高速レートでの処理が可能な構成とされている。
また、信号処理回路230から出力される高解像度の輝度信号Y、高解像度の色差信号R−Y、B−Yは、高解像度のコンポーネント信号として、出力端子270、280及び290から夫々出力される。
つぎに、本発明の撮像装置の第3の実施例について、図14を参照しながら説明する。なお、図1に示される従来の撮像装置と同じ部分については同じ番号を付して説明する。
光学系1に入射された被撮像光は、色フィルタ2を介してCCD3に入射される。この色フィルタ2は、例えば黄色フィルタ、シアンフィルタ及びマゼンタフィルタからなる補色フィルタである。この色フィルタ2を介してCCD3に入射された被撮像光は、CCD3にて光電変換されて、撮像信号としてビデオアンプ4に供給される。この撮像信号は、ビデオアンプ4にて所定のレベルにまで増幅された後に、A/D変換回路5に供給される。このA/D変換回路5にて、撮像信号が所定のビット数のディジタル信号に変換される。A/D変換回路5にてディジタル信号の変換された撮像信号は、色分離回路6に供給される。
この色分離回路6は、入力されたディジタル撮像信号をR信号成分、G信号成分及びB信号成分に分け、夫々を信号処理回路7に供給する。信号処理回路7は、供給されたR信号成分、G信号成分及びB信号成分に夫々所定の信号処理及びマトリクス演算を施して、輝度信号Y及び色差信号R−Y、B−Yを生成する。この信号処理回路にて生成された色差信号R−Y、B−Yは、変調回路8に供給される。
この変調回路8は、色副搬送波信号を色差信号R−Y、B−Yによって直交2軸変調し、得られる色信号を加算器9の一方の入力端に供給する。この加算器9の他方の入力端には、信号処理回路7より輝度信号Yが供給され、この輝度信号Yと変調回路8からの色信号とが加算されてディジタル複合映像信号が生成される。
この加算器9から出力されるディジタル複合映像信号は信号変換部300に供給され、この信号変換部300にて高解像度のディジタル複合映像信号に変換されて出力端子310より出力される。信号変換部300の構成及び動作原理については、図3に示されるR信号変換部50の構成及び動作原理と同じなので、その説明を省略する。なお、図14に示される信号変換部300を構成するブロック化回路301、データ圧縮回路302、クラスコード発生回路303、予測係数メモリ304及び予測値生成回路305は、図3示されるR信号変換部50を構成するブロック化回路51、データ圧縮回路52、クラスコード発生回路53、予測係数メモリ54及び予測値生成回路55に夫々対応する。
つぎに、本発明の撮像装置の第4の実施例について、図15を参照しながら説明する。なお、図2に示される従来の撮像装置と同じ部分については同じ番号を付して説明する。
被撮像光が光学系21を介して色分解プリズム22に入射される。色分解プリズム22は、被撮像光を、赤色光、緑色光及び青色光に分光し、夫々赤色撮像用CCD23、緑色撮像用CCD24及び青色撮像用CCD25に入射させる。
赤色撮像用CCD23、緑色撮像用CCD24及び青色撮像用CCD25は、入射された赤色光、緑色光及び青色光を夫々光電変換し、R信号成分、G信号成分及びB信号成分を出力する。これらのR信号成分、G信号成分及びB信号成分は、ビデオアンプ26、27及び28に夫々供給される。ビデオアンプ26、27及び28は、供給されたR信号成分、G信号成分及びB信号成分を夫々所定のレベルに増幅して、A/D変換回路29、30及び31に夫々供給する。これらのA/D変換回路29、30及び31にて、R信号成分、G信号成分及びB信号成分が夫々所定のビット数のディジタル信号に変換される。これらのA/D変換回路29、30及び31にて夫々ディジタル信号に変換されたR信号成分、G信号成分及びB信号成分は、信号処理回路32に供給される。
信号処理回路32は、供給されたR信号成分、G信号成分及びB信号成分に夫々所定の信号処理及びマトリクス演算処理を施して、輝度信号Y及び色差信号R−Y、B−Yを生成する。この信号処理回路32にて生成された色差信号R−Y、B−Yは、夫々R−Y信号変換部410及びB−Y信号変換部420に供給される。
信号処理回路32から供給された色差信号R−Yは、R−Y信号変換部410にて、高解像度の色差信号R−Yに変換されて出力される。また、信号処理回路32から供給された色差信号B−Yは、B−Y信号変換部420にて、高解像度の色差信号B−Yに変換されて出力される。
また、信号処理回路32にて生成された輝度信号Yは、輝度信号変換部400に供給される。信号処理回路32から供給された輝度信号Yは、輝度信号変換部400にて、高解像度の輝度信号Yに変換されて出力される。
輝度信号変換部400は、上述の図15に示すように、ブロック化回路401、データ圧縮回路402、クラスコード発生回路403、予測係数メモリ404及び予測値生成回路405を備える。
また、R−Y信号変換部410は、上述の図15に示すように、ブロック化回路411、データ圧縮回路412、クラスコード発生回路413、予測係数メモリ414及び予測値生成回路415を備える。
また、B−Y信号変換部420は、上述の図15に示すように、ブロック化回路421、データ圧縮回路422、クラスコード発生回路423、予測係数メモリ424及び予測値生成回路425を備える。
これらの輝度信号変換部400、R−Y信号変換部410及びB−Y信号変換部420の構成及び動作原理については、図3に示されるR信号変換部50の構成及び動作原理と同じなので、その説明を省略する。
R−Y信号変換部410及びB−Y信号変換部420にて夫々生成された高解像度の色差信号R−Y、B−Yは、変調回路430に供給される。この変調回路430は、色副搬送波信号を高解像度の色差信号R−Y、B−Yによって直交2軸変調し、得られる高解像度の色信号を加算器440の一方の入力端に供給する。この加算器440の他方の入力端には、輝度信号変換部400にて生成された高解像度の輝度信号Yが供給され、この高解像度の輝度信号Yと変調回路430からの高解像度の色信号とが加算されて高解像度のディジタル複合映像信号が生成され、出力端子450より出力される。なお、変調回路430及び加算器440は、図2に示される従来の撮像装置で用いられる変調回路34及び加算器35よりも高速レートでの処理が可能な構成とされている。
また、輝度信号変換部400から出力される高解像度の輝度信号Y、R−Y信号変換部410から出力される高解像度の色差信号R−Y、及びB−Y信号変換部420から出力される高解像度の色差信号B−Yは、高解像度のコンポーネント信号として、出力端子460、470及び480から夫々出力される。
なお、本発明の撮像装置は、第1から第4の実施例にのみ限定されるものではなく、例えば、予測係数メモリを、R信号成分、G信号成分及びB信号成分の変換処理について共通化する等、本発明の要旨を逸脱しない範囲で種々の変形が可能である。
本発明によれば、CCDの画素数を増加させることなく、高解像度の映像信号を得ることができる撮像装置を提供できる。

Claims (8)

  1. 撮像信号から得られた輝度信号及び色信号が供給され、該輝度信号及び色信号から複合映像信号を生成する合成手段と、
    高解像度の複合映像信号を生成して出力するために予め学習によって決定された予測係数が格納されている予測係数記憶手段と、
    上記予測係数記憶手段のアドレス信号として用いられるクラス信号を発生するクラス検出手段と
    上記予測係数記憶手段から出力される予測係数を用いて、上記合成手段からの複合映像信号に予測演算処理を施して、上記入力された信号から高解像度の信号を生成する予測演算手段と
    を有することを特徴とする撮像信号処理装置。
  2. 上記クラス検出手段は、
    入力された複合映像信号を複数のブロックに分割するブロック化手段と、
    上記ブロック化手段で分割されたブロック毎にデータ量を圧縮する圧縮手段とを含み、
    上記圧縮されたデータに基づいて、上記クラス信号を発生する
    ことを特徴とする請求項1に記載の撮像信号処理装置。
  3. 上記予測係数記憶手段は、高精度の信号とこの高精度の信号から形成された通常精度と同等の画素数の画像信号とをブロック化し、予測対象の高精度の信号とその周辺の上記画像信号のクラスをレベル分布のパターンから決定し、この決定されたクラス毎に上記高精度の信号と上記画像信号の正規化方程式加算の解から求められた予測係数を、上記クラスを示す信号をアドレスとして記憶していることを特徴とする請求項2記載の撮像信号処理装置。
  4. 撮像信号から得られた輝度信号及び色信号が供給され、該輝度信号及び色信号から複合映像信号を生成する合成工程と、
    高解像度の複合映像信号を生成して出力するために予め学習によって決定された予測係数が格納されている予測係数記憶手段から予測係数を読み出すのにアドレス信号として用いるクラス信号を発生するクラス検出工程と、
    上記予測係数記憶手段から出力される予測係数を用いて、上記合成工程からの複合映像信号に予測演算処理を施して、上記入力された信号から高解像度の信号を生成する予測演算工程と
    を有することを特徴とする撮像信号処理方法。
  5. 上記クラス検出工程は、
    入力された複合映像信号を複数のブロックに分割するブロック化工程と、
    上記ブロック化工程で分割されたブロック毎にデータ量を圧縮する圧縮工程とを含み、
    上記圧縮されたデータに基づいて、上記クラス信号を発生する
    ことを特徴とする請求項4記載の撮像信号処理方法。
  6. 上記予測係数読み出し工程で用いられる上記予測係数記憶手段は、高精度の信号とこの高精度の信号から形成された通常精度と同等の画素数の画像信号とをブロック化し、予測対象の高精度の信号とその周辺の上記画像信号のクラスをレベル分布のパターンから決定し、この決定されたクラス毎に上記高精度の信号と上記画像信号の正規化方程式加算の解から求められた予測係数を、上記クラスを示す信号をアドレスとして記憶していることを特徴とする請求項5記載の撮像信号処理方法。
  7. 入力された被撮像光を撮像信号に変換する撮像手段と、
    上記撮像手段から上記撮像信号が供給され、該撮像信号から輝度信号及び色信号を生成する信号処理手段と、
    上記信号処理手段から上記輝度信号及び色信号が供給され、該輝度信号及び色信号から複合映像信号を生成する合成手段と、
    高解像度の複合映像信号を生成して出力するために予め学習によって決定された予測係数が格納されている予測係数記憶手段と、
    上記予測係数記憶手段のアドレス信号として用いられるクラス信号を発生するクラス検出手段と
    上記予測係数記憶手段から出力される予測係数を用いて、上記合成手段からの復号映像信号に予測演算処理を施して、上記入力された信号から高解像度の信号を生成する予測演算手段と
    を有することを特徴とする撮像装置。
  8. 上記クラス検出手段は、
    入力された復号映像信号を複数のブロックに分割するブロック化手段と、
    上記ブロック化手段で分割されたブロック毎にデータ量を圧縮する圧縮手段とを含み、
    上記圧縮されたデータに基づいて、上記クラス信号を発生することを特徴とする請求項7記載の撮像装置。
JP50862396A 1994-08-31 1995-08-31 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置 Expired - Lifetime JP4190576B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP20695894 1994-08-31
PCT/JP1995/001740 WO1996007275A1 (fr) 1994-08-31 1995-08-31 Dispositif analyseur d'images

Publications (1)

Publication Number Publication Date
JP4190576B2 true JP4190576B2 (ja) 2008-12-03

Family

ID=16531834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50862396A Expired - Lifetime JP4190576B2 (ja) 1994-08-31 1995-08-31 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置

Country Status (7)

Country Link
US (1) US5748235A (ja)
EP (1) EP0731616B1 (ja)
JP (1) JP4190576B2 (ja)
KR (1) KR100366738B1 (ja)
CN (1) CN1136381A (ja)
DE (1) DE69524202T2 (ja)
WO (1) WO1996007275A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3748088B2 (ja) * 1996-07-17 2006-02-22 ソニー株式会社 画像処理装置および方法、並びに学習装置および方法
EP1033886A4 (en) * 1998-09-30 2008-04-02 Sony Corp ARITHMETIC DEVICE, CONVERTER AND METHODS RELATING THERETO
EP1073279A4 (en) * 1999-02-19 2006-04-05 Sony Corp PICTURE SIGNAL PROCESSOR, PICTURE SIGNAL PROCESSING METHOD, LEARNING DEVICE, LERMETHOID AND RECORDING MEDIUM
WO2000065830A1 (fr) * 1999-04-23 2000-11-02 Sony Corporation Dispositif et procede de conversion d'image
JP3458080B2 (ja) * 1999-10-19 2003-10-20 松下電器産業株式会社 カラー撮像装置
US6463566B1 (en) * 2000-02-04 2002-10-08 Massachusetts Institute Of Technology Dynamic double sampling charge integrator
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4691762B2 (ja) * 2000-08-22 2011-06-01 ソニー株式会社 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4574045B2 (ja) * 2001-03-30 2010-11-04 ルネサスエレクトロニクス株式会社 半導体集積回路および撮像システム
US6648543B2 (en) * 2001-04-19 2003-11-18 Saab Ericsson Space Ab Device for a space vessel
WO2002087256A1 (en) * 2001-04-20 2002-10-31 Mti Film Llc High resolution image color correction method and system
JP3947969B2 (ja) * 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
JP4320657B2 (ja) * 2005-12-26 2009-08-26 ソニー株式会社 信号処理装置
JP4508132B2 (ja) * 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4807349B2 (ja) * 2007-12-14 2011-11-02 ソニー株式会社 学習装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661850A (en) * 1986-01-31 1987-04-28 Rca Corporation Progressive scan television system with interlaced inter-field sum and difference components
JP2529221B2 (ja) * 1986-10-20 1996-08-28 松下電器産業株式会社 撮像装置
US5008739A (en) * 1989-02-13 1991-04-16 Eastman Kodak Company Real-time digital processor for producing full resolution color signals from a multi-color image sensor
US5095364A (en) * 1989-09-26 1992-03-10 Sony Corporation Color television camera including rate converting unit and low pass filter circuit for limiting frequency range of an output composite video signal
JP3094431B2 (ja) * 1990-08-24 2000-10-03 富士写真光機株式会社 内視鏡の映像信号処理方式
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JPH04257175A (ja) * 1991-02-12 1992-09-11 Matsushita Electric Ind Co Ltd 撮像装置およびその撮像方法
JPH05130622A (ja) * 1991-10-31 1993-05-25 Victor Co Of Japan Ltd 撮像装置
JP3278881B2 (ja) * 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
JP3235200B2 (ja) * 1992-08-26 2001-12-04 株式会社日立製作所 撮像装置
JP3243861B2 (ja) * 1992-12-10 2002-01-07 ソニー株式会社 画像情報変換装置
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5546194A (en) * 1994-03-23 1996-08-13 Videofaxx, Inc. Method and apparatus for converting a video image format to a group III fax format

Also Published As

Publication number Publication date
WO1996007275A1 (fr) 1996-03-07
EP0731616A1 (en) 1996-09-11
DE69524202T2 (de) 2002-07-04
EP0731616B1 (en) 2001-11-28
KR100366738B1 (ko) 2003-03-06
US5748235A (en) 1998-05-05
CN1136381A (zh) 1996-11-20
EP0731616A4 (en) 1999-01-20
DE69524202D1 (de) 2002-01-10

Similar Documents

Publication Publication Date Title
US8120671B2 (en) Digital camera for recording a still image while shooting a moving image
JP4190576B2 (ja) 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置
US8428120B2 (en) Method and apparatus of Bayer pattern direct video compression
EP0651562A1 (en) An electronic camera utilizing image compression feedback for improved color processing
US20070110155A1 (en) Method and apparatus of high efficiency image and video compression and display
KR101046012B1 (ko) 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US6005982A (en) Image compression and expansion device
JPH10271530A (ja) 画像データ圧縮符号化装置およびその方法ならびにディジタルカメラ
KR100504649B1 (ko) 화상 데이타 압축장치
US20050212933A1 (en) Luminance and color difference signal generation apparatus, image data compression apparatus, and image processing system
JPWO2011148573A1 (ja) 撮像装置
US6047089A (en) Image compression and expansion device
EP0969674A2 (en) Image sensing device processing image signals in blocks
JP3335236B2 (ja) デジタルデータ処理装置
JP4436733B2 (ja) 撮像装置および再生装置
US6226445B1 (en) Image compression and expansion device
JP6152642B2 (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JPH07312751A (ja) 画像データ圧縮符号化方法および装置
JP3655734B2 (ja) 画像圧縮装置および画像表示装置
US6208754B1 (en) Image compression and expansion device using pixel offset
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2017200199A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
KR100771138B1 (ko) 촬영 장치 및 영상 보정 방법
JPH0937202A (ja) デジタルカメラ
JPH06205360A (ja) 撮像記録装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060727

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070322

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term