JP2003333610A - 画像処理装置、および画像処理方法、記録媒体、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、記録媒体、並びにプログラム

Info

Publication number
JP2003333610A
JP2003333610A JP2002139574A JP2002139574A JP2003333610A JP 2003333610 A JP2003333610 A JP 2003333610A JP 2002139574 A JP2002139574 A JP 2002139574A JP 2002139574 A JP2002139574 A JP 2002139574A JP 2003333610 A JP2003333610 A JP 2003333610A
Authority
JP
Japan
Prior art keywords
pixel
image
pixels
thinning
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002139574A
Other languages
English (en)
Other versions
JP3947969B2 (ja
Inventor
Nobuyuki Sato
伸行 佐藤
Takeshi Nakajima
健 中島
Katsuaki Hirota
克明 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002139574A priority Critical patent/JP3947969B2/ja
Priority to TW092108447A priority patent/TWI236839B/zh
Priority to KR1020047017843A priority patent/KR100970030B1/ko
Priority to PCT/JP2003/004810 priority patent/WO2003098941A1/ja
Priority to EP03725588A priority patent/EP1505839B1/en
Priority to CNA03810993XA priority patent/CN1653823A/zh
Priority to US10/514,366 priority patent/US7826658B2/en
Publication of JP2003333610A publication Critical patent/JP2003333610A/ja
Application granted granted Critical
Publication of JP3947969B2 publication Critical patent/JP3947969B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【課題】 全ての画素を利用した間引き処理を実行す
る。 【解決手段】 水平成分ローパスフィルタが、第１のラ
インの緑の画素を注目画素として（１、０、１、０、
１）／３のフィルタをかけた場合、緑の画素には１が乗
算され、赤の画素には０が乗算されて、それらの画素値
の合計が３で除算されるので、注目画素となる緑の画素
と、隣接する緑の画素との単純平均が算出される。第１
のラインの赤の画素が注目画素となった場合も同様に、
注目画素となる赤の画素と、隣接する赤の画素との単純
平均が算出される。同様にして、第２のラインの緑の画
素と青の画素もフィルタリングされる。そして、水平１
／３間引き処理部において、水平成分の３画素毎に間引
きされるので、３画素おきの画素を注目画素として、そ
の画素に隣接する同色の画素との単純平均値を算出する
ことにより得られる画素で構成される間引き画素群が生
成される。本発明は、デジタルカメラに適用できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理装置、お
よび画像処理方法、記録媒体、並びにプログラムに関
し、特に、間引き処理を行う場合に用いて好適な画像処
理装置、および画像処理方法、記録媒体、並びにプログ
ラムに関する。
【０００２】
【従来の技術】例えば、デジタルカメラ（デジタルスチ
ルカメラ、デジタルビデオカメラ、並びに、静止画およ
び動画を撮像可能なデジタルカメラ）に使われている、
光を電気信号に変換するデバイスである撮像素子は、チ
ップの表面に、微細なフォトダイオードを並べた構造に
なっている。フォトダイオードは、照射された光の強弱
に応じて電荷を発生する半導体で、それ自身には色をと
らえる能力がないため、カラー画像を取り込むために
は、入射光を色要素別に取り込む必要がある。
【０００３】一般的なデジタルカメラ、もしくは、ビデ
オカメラに使われている単板式のカラー撮像素子は、フ
ォトダイオードの上に、３色あるいは４色のカラーフィ
ルタをモザイク状に配置し、個々のフォトダイオードが
個別の色要素に反応する仕組みになっている。例えば、
ＲＧＢ（赤、緑、青、すなわち光の３原色）それぞれに
個別に撮像素子を有する、すなわち、三枚の撮像素子を
使う３板式カメラに対して、ＲＢＧのカラーフィルタが
モザイク状に配置されている、すなわち、1枚の撮像素
子を使う単板式のカラー撮像素子を用いて撮像するカメ
ラのことを、単板式カメラと称する。
【０００４】撮像素子には、例えば、ＣＣＤ（Charge C
oupled Device）や、ＣＭＯＳ（Complementary Metal-O
xide Semiconductor：相補型金属酸化膜半導体）センサ
などが用いられることが多い。
【０００５】本来、ＣＣＤとは、電荷をバケツリレー式
に転送する機能を持つ素子全般を指すが、現在では、Ｃ
ＣＤとは、一般に、電荷の読み出しにこのＣＣＤを用い
たＣＣＤ撮像素子のことをさす場合が多い。ＣＣＤは、
デジタルカメラ、イメージスキャナ等の画像入力を行う
イメージデバイス全般で使われている。
【０００６】ＣＣＤ撮像素子は、フォトダイオードと、
フォトダイオードが発生した電荷を次々に取り出して転
送する回路から成る。ＣＣＤ撮像素子の具体的な構造
は、シリコン基板上にフォトダイオードと電極を碁盤目
のように（この数がＣＣＤの画素数になる）配置するも
のであり、この碁盤目部分に、フィルムと同じようにレ
ンズを通した光学像が結ばれると、個々のフォトダイオ
ードは、受光した光の強弱に応じた電荷を発生する。蓄
積された電荷は、電極に交互に電圧をかけていくことに
よって、ちょうどポンプで押し出されるように隣の電極
に移動し、最終的にひとつずつ出力される。これを増幅
したり、デジタル値に変換することによって、２次元の
画像データが生成される。また、動画像の場合には、こ
のプロセスを延々と繰り返して、連続した静止画として
の動画像が生成される。
【０００７】ＣＭＯＳセンサとは、ＣＣＤの代わりに、
電荷の読み出しにＣＭＯＳスイッチを使った撮像素子で
あり、各画素が１つのフォトダイオードとＣＭＯＳトラ
ンジスタを使ったスイッチで構成される。すなわち、格
子状に並んだフォトダイオードそれぞれに、スイッチを
取り付けた構造になっており、このスイッチを次々に切
り替えて、１画素ずつ電荷を読み出していく。このよう
な仕組みから、例えば、ＣＣＤ特有のスミアが原理的に
発生しないこと、消費電力が少ない（ＣＣＤの１／１０
程度）こと、単一の低電圧で駆動できること、および、
一般のチップと同じ製造ラインが使え、周辺機能とあわ
せてワンチップで構成することができるので、小型低価
格化が可能であることなどといった様々なメリットを望
むことができる。しかしながら、ＣＭＯＳセンサを撮像
素子として実用化するにあたっては、スイッチングノイ
ズなどに起因する雑音対策が必要である。
【０００８】固体撮像素子のセンサの数、すなわち、撮
像される画像の画素数は、デジタルビデオカメラでは、
殆どの場合１００万画素以下であった。一方、デジタル
スチルカメラにおいては、近年の半導体技術の向上、お
よび、高解像度化のため、画素数は、１００万画素、２
００万画素、３００万画素と増加する傾向にある。
【０００９】更に、近年では、静止画および動画を撮像
可能なデジタルカメラが開発され、広く普及するように
なった。
【００１０】しかしながら、撮像される画像の画素数が
増加するに従って、全ての画素を読み出すためにかかる
時間が長くなってしまう。静止画と異なり、動画におい
ては、画像を読み出す時間が長くなってしまっては、滑
らかな動画像を得ることができなくなってしまう。
【００１１】これを解決するため、解像度を必要としな
い場合、画素の一部を間引いて読み出す方法がある。
【００１２】従来、特に撮像素子としてＣＣＤが用いら
れている場合、動画像の表示などにおいて、例えば、２
×２で構成された画素（ここでは、Ｇｒ、ｒ、Ｂ、Ｇｂ
の４画素）において、図１に示されるように、８画素の
うち、２画素のみを間引いて、他の画素を利用しない方
法や、図２に示されるように、１２画素のうちの２画素
のみを間引いて、他の画素を利用しない方法などが利用
されていた。
【００１３】
【発明が解決しようとする課題】しかしながら、図１、
もしくは図２に示される間引き方法では、等間隔に間引
きを行うことができないのみならず、全ての画素を利用
していないため、表示、もしくは記録される動画像に折
り返しが生じてしまうという問題が発生してしまう。
【００１４】本発明はこのような状況に鑑みてなされた
ものであり、折り返しのない良好な間引き画像を得るこ
とができる間引き処理を実現することができるようにす
るものである。
【００１５】
【課題を解決するための手段】本発明の画像処理装置
は、複数の色成分からなり、２×２の色コーディングを
有する画像信号を取得する取得手段と、取得手段により
取得された画像信号のうち、注目画素と注目画素近傍の
同一の色成分の画素との（２ｎ−１）個分の画素値の加
算平均値を算出し、注目画素の画素値とするフィルタ手
段と、フィルタ手段により算出された加算平均値を画素
値とする画素を、１／（２ｎ−１）の間引き率で間引き
する間引き手段とを備えることを特徴とする。
【００１６】フィルタ手段には、１フレームの画像信号
の、全ての画素の画素値を用いて、加算平均値を算出さ
せるようにすることができる。
【００１７】フィルタ手段には、注目画素に対して、水
平方向に並んでいる同一の色成分の画素を選択して、
（２ｎ−１）個の画素の画素値の加算平均値を算出し、
注目画素の画素値とさせるようにすることができる。
【００１８】フィルタ手段には、注目画素に対して、垂
直方向に並んでいる同一の色成分の画素を選択して、
（２ｎ−１）個の画素の画素値の加算平均値を算出し、
注目画素の画素値とさせるようにすることができる。
【００１９】フィルタ手段には、注目画素に対して、水
平方向および垂直方向に所定の範囲内の同一の色成分の
画素を選択させて、（２ｎ−１）個の画素の画素値の加
算平均値を算出し、注目画素の画素値とさせるようにす
ることができる。
【００２０】フィルタ手段には、複数の色成分のうち、
少なくとも１つの色成分の注目画素に対して、注目画素
に近い位置に配置されているものから順番に同一の色成
分の画素を選択させて、（２ｎ−１）個の画素の画素値
の加算平均値を算出し、注目画素の画素値とさせるよう
にすることができる。
【００２１】フィルタ手段には、複数の色成分の全ての
色成分の注目画素に対して、注目画素に近い位置に配置
されているものから順番に同一の色成分の画素を選択さ
せて、（２ｎ−１）個の画素の画素値の加算平均値を算
出し、注目画素の画素値とさせるようにすることができ
る。
【００２２】取得手段には、画像信号を撮像する撮像手
段を更に備えさせるようにすることができる。
【００２３】撮像手段は、ＣＭＯＳ ＩＣで構成させる
ようにすることができる。
【００２４】撮像手段、フィルタ手段、および間引き手
段は、同一のＣＭＯＳ ＩＣで構成させるようにするこ
とができる。
【００２５】取得手段により取得された画像信号に対応
する画像を表示する表示手段を更に備えさせるようにす
ることができ、表示手段により表示される画像が動画像
である場合、取得手段により取得された画像信号を、フ
ィルタ手段、および間引き手段により処理されて、表示
手段により表示されるようにすることができ、表示手段
により表示される画像が静止画像である場合、取得手段
により取得された画像信号を、フィルタ手段、および間
引き手段により処理されずに、表示手段により表示され
るようにすることができる。
【００２６】取得手段により取得された画像信号を記録
する記録手段を更に備えさせるようにすることができ、
記録手段により記録される画像信号が動画像に対応する
信号である場合、取得手段により取得された画像信号
を、フィルタ手段、および間引き手段により処理され
て、記録手段により記録させるようにすることができ、
記録手段により記録される画像信号が静止画像に対応す
る信号である場合、取得手段により取得された画像信号
を、フィルタ手段、および間引き手段により処理されず
に、記録手段により記録させるようにすることができ
る。
【００２７】取得手段により取得された画像信号を出力
する出力手段を更に備えさせるようにすることができ、
出力手段により出力される画像信号が動画像に対応する
信号である場合、取得手段により取得された画像信号
を、フィルタ手段、および間引き手段により処理され
て、出力手段により出力させるようにすることができ、
出力手段により出力される画像信号が静止画像に対応す
る信号である場合、取得手段により取得された画像信号
を、フィルタ手段、および間引き手段により処理されず
に、出力手段により出力させるようにすることができ
る。
【００２８】本発明の画像処理方法は、複数の色成分か
らなり、２×２の色コーディングを有する画像信号の取
得を制御する取得制御ステップと、取得制御ステップの
処理により取得が制御された画像信号のうち、注目画素
と注目画素近傍の同一の色成分の画素との（２ｎ−１）
個分の画素値の加算平均値を算出し、注目画素の画素値
とするフィルタ演算ステップと、フィルタ演算ステップ
の処理により算出された加算平均値を画素値とする画素
を、１／（２ｎ−１）の間引き率で間引きする間引きス
テップとを含むことを特徴とする。
【００２９】本発明の記録媒体に記録されているプログ
ラムは、複数の色成分からなり、２×２の色コーディン
グを有する画像信号の取得を制御する取得制御ステップ
と、取得制御ステップの処理により取得が制御された画
像信号のうち、注目画素と注目画素近傍の同一の色成分
の画素との（２ｎ−１）個分の画素値の加算平均値を算
出し、注目画素の画素値とするフィルタ演算ステップ
と、フィルタ演算ステップの処理により算出された加算
平均値を画素値とする画素を、１／（２ｎ−１）の間引
き率で間引きする間引きステップとを含むことを特徴と
する。
【００３０】本発明のプログラムは、複数の色成分から
なり、２×２の色コーディングを有する画像信号の取得
を制御する取得制御ステップと、取得制御ステップの処
理により取得が制御された画像信号のうち、注目画素と
注目画素近傍の同一の色成分の画素との（２ｎ−１）個
分の画素値の加算平均値を算出し、注目画素の画素値と
するフィルタ演算ステップと、フィルタ演算ステップの
処理により算出された加算平均値を画素値とする画素
を、１／（２ｎ−１）の間引き率で間引きする間引きス
テップとを含むことを特徴とする。
【００３１】本発明の画像処理装置および画像処理方
法、並びにプログラムにおいては、複数の色成分からな
り、２×２の色コーディングを有する画像信号が取得さ
れ、取得された画像信号のうち、注目画素と注目画素近
傍の同一の色成分の画素との（２ｎ−１）個分の画素値
の加算平均値が算出され、注目画素の画素値とされ、算
出された加算平均値を画素値とする画素が、１／（２ｎ
−１）の間引き率で間引きされる。
【００３２】
【発明の実施の形態】以下、図を参照して、本発明の実
施の形態について説明する。
【００３３】図３は、本発明を適用した、デジタルカメ
ラの構成を示すブロック図である。
【００３４】操作入力部１１は、例えば、ボタン、キ
ー、ジョグダイヤルなどで構成され、ユーザにより、静
止画の撮像、動画の録画開始および終了、あるいは、露
光やピント調節などの画像調整の操作入力を受ける。
【００３５】制御部１２は、ＣＰＵ（Central Processi
ng Unit）、ＲＯＭ（Read Only Memory）、およびＲＡ
Ｍ（Random Access Memory）で構成され、デジタルカメ
ラ１の動作を制御するものであり、操作入力部１１から
入力されたユーザの操作を基に、撮像部１３、間引き処
理部１４、カメラ信号処理部１５、およびドライブ１８
を制御するための制御信号を生成して、各部に出力す
る。
【００３６】撮像部１３は、例えば、光学レンズ、光学
レンズを駆動する駆動部、ＣＣＤセンサやＣＭＯＳセン
サなどの撮像素子、および、これらの撮像素子により取
得されたアナログの電気信号をデジタル信号に変換する
Ａ／Ｄ変換部などで構成され、制御部１２の制御に従っ
て、静止画、あるいは動画を撮像する。
【００３７】間引き処理部１４は、制御部１２の制御に
従って、撮像部１３から入力された画像信号に対して、
必要に応じて、間引き処理を行う。
【００３８】ここで、撮像部１３と間引き処理部１４
は、それぞれ異なる処理ブロックとして構成されるよう
にしても良いし、同一のチップとして構成（例えば、撮
像部１３と間引き処理部１４とが１つのＣＭＯＳ ＩＣ
で構成）されるようにしても良い。
【００３９】カメラ信号処理部１５は、制御部１２の制
御に従って、入力された画像データに対して、例えば、
γ処理、ホワイトバランス、デモザイクなどの処理を行
う。
【００４０】表示部１６は、例えば、液晶パネルなどで
構成され、入力された画像データを表示する。表示部１
６は、操作入力部１１から入力されるユーザの操作に従
って、撮像する画像を確認するためのファインダとして
機能したり、撮像された静止画像、あるいは録画された
動画像を表示するものである。出力部１７は、有線、も
しくは無線で、他の装置もしくはネットワークと接続さ
れ、撮像された静止画像、あるいは録画された動画像を
出力する。
【００４１】ドライブ１８には、磁気ディスク２１、光
ディスク２２、光磁気ディスク２３、あるいは半導体メ
モリ２４などが適宜装着され、カメラ信号処理部１５か
ら供給された画像信号を、磁気ディスク２１、光ディス
ク２２、光磁気ディスク２３、あるいは半導体メモリ２
４などに出力して記録させたり、磁気ディスク２１、光
ディスク２２、光磁気ディスク２３、あるいは半導体メ
モリ２４などに記録されている静止画像データ、もしく
は動画像データを、表示部１６に出力させて表示させた
り、出力部１７から他の装置に出力させる。
【００４２】また、ドライブ１８には、磁気テープを装
着することができるようにしても良い。更に、ドライブ
１８以外に、例えば、半導体メモリやハードディスクな
どの記録媒体を、デジタルカメラ１の内部に設けるよう
にすることにより、撮像された画像データを、デジタル
カメラ１の内部に記憶することができるようにしても良
い。
【００４３】また、ドライブ１８に装着されている、磁
気ディスク２１、光ディスク２２、光磁気ディスク２
３、あるいは半導体メモリ２４などの記録媒体から読み
出されたプログラムは、必要に応じて制御部１２に供給
されて、インストールされる。
【００４４】ユーザが、操作入力部１１を用いて、撮像
部１３により撮像可能な画像を表示部１６に表示させる
ように操作している場合（すなわち、表示部１６をファ
インダとして利用している場合）、制御部１２は、撮像
部１３を制御して、連続して画像データを取得して、間
引き処理部１４に出力させる。間引き処理部１４は、制
御部１２の制御に従って、間引き処理を実行し、間引か
れた画像データをカメラ信号処理部１５に出力する。間
引き処理の詳細については後述する。カメラ信号処理部
１５は、間引き処理部１４から供給された、間引かれた
画像データに所定の処理を施して、表示部１６に出力し
て表示させる。
【００４５】間引きが行われることにより、画像を読み
出すためにかかる時間を短縮することができるため、表
示部１６に滑らかに動く動画像を表示させるようにする
ことができる。
【００４６】ユーザが、表示部１６に表示されている画
像を参照して、操作入力部１１を用いて、静止画像の撮
像を指令した場合、制御部１２は、撮像部１３を制御し
て、１フレーム分の画像データを取得して、間引き処理
部１４に出力させる。間引き処理部１４は、制御部１２
の制御に従って、間引き処理を実行せずに、間引かれて
いない全ての画素から構成される画像データをカメラ信
号処理部１５に出力する。カメラ信号処理部１５は、間
引き処理部１４から供給された、間引かれていない、１
フレーム分の画像データに所定の処理を施して、表示部
１６に出力して表示させるとともに、ドライブ１８に装
着されている所定の記録媒体に出力して記録させる。
【００４７】間引きが行われないことにより、高解像度
の画像がドライブ１８に装着されている所定の記録媒体
に記録される。
【００４８】ユーザが、表示部１６に表示されている画
像を参照して、操作入力部１１を用いて、動画像の撮像
を指令した場合、制御部１２は、撮像部１３を制御し
て、連続して画像データを取得して、間引き処理部１４
に出力させる。間引き処理部１４は、制御部１２の制御
に従って、間引き処理を実行し、間引かれた画像データ
をカメラ信号処理部１５に出力する。カメラ信号処理部
１５は、間引き処理部１４から供給された、間引かれた
画像データに所定の処理を施して、表示部１６に出力し
て表示させるとともに、ドライブ１８に装着されている
所定の記録媒体に出力して記録させる。
【００４９】間引きが行われることにより、画像を読み
出すためにかかる時間を短縮することができるため、動
画像をドライブ１８に装着されている所定の記録媒体に
記録することができる。
【００５０】また、ユーザは、操作入力部１１を操作す
ることにより、ドライブ１８に装着されている所定の記
録媒体に記録されている静止画像データ、もしくは動画
像データを、表示部１６に出力して表示させたり、出力
部１７から他の装置などに出力させることができる。
【００５１】デジタルカメラ１には、更に、音声データ
を取得するためのマイク、取得された音声データを処理
する音声データ処理部、および、音声データを出力する
スピーカなどを備えるようにしても良い。
【００５２】図４は、間引き処理部１４の更に詳細な構
成を示すブロック図である。
【００５３】水平成分ローパスフィルタ３１は、入力さ
れた画像信号に対して、水平方向に（１、０、１、０、
１）／３というフィルタをかける。水平１／３間引き処
理部３２は、水平方向に３画素おきにリサンプリング
（間引き）を行う。
【００５４】例えば、図５に示されるように、第１のラ
インに緑と赤のそれぞれのカラーフィルタ、第２のライ
ンに青と緑のそれぞれのカラーフィルタが配置されてい
る、いわゆる、２×２のベイヤー配列（Ｇ（グリーン）
市松配列）でコーディングが行われる場合のフィルタリ
ングおよびリサンプリングについて、図６を用いて説明
する。
【００５５】第１のラインでは、緑のカラーフィルタの
配置位置に対応する画素（以下、緑の画素と称するもの
とする）と、赤のカラーフィルタの配置位置に対応する
画素（以下、赤の画素と称するものとする）が１画素ず
つ交互に配置されている。水平成分ローパスフィルタ３
１が、１つの緑の画素を注目画素として、（１、０、
１、０、１）／３というフィルタをかけた場合、注目画
素を含む３つの緑の画素に対応する部分には１が乗算さ
れ、赤の画素に対応する部分は０が乗算されて、それら
の画素値の合計が３で除算されるので、注目画素となる
緑の画素と、その画素に隣接する緑の画素との単純平均
が算出される。
【００５６】一方、水平成分ローパスフィルタ３１が、
１つの赤の画素を注目画素として、（１、０、１、０、
１）／３というフィルタをかけた場合、注目画素を含む
３つの赤の画素に対応する部分には１が乗算され、緑の
画素に対応する部分は０が乗算されて、それらの画素値
の合計が３で除算されるので、注目画素となる赤の画素
と、その画素に隣接する赤の画素との単純平均が算出さ
れる。
【００５７】同様にして、第２のラインにおける緑の画
素と、青のカラーフィルタの配置位置に対応する画素
（以下、青の画素と称するものとする）も水平成分ロー
パスフィルタ３１によりフィルタリングされる。
【００５８】そして、水平１／３間引き処理部３２にお
いて、それぞれの画素が水平成分の３画素毎に間引きさ
れるので、最終的には、図６の図中矢印で示されている
３画素おきの画素を注目画素として、その画素に隣接す
る同色の画素との単純平均値を算出することにより得ら
れる画素で構成される間引き画素群が生成される。
【００５９】図６においては、緑の画素を注目画素とし
た場合と、赤の画素を注目画素とした場合、および、青
の画素を注目画素とした場合と緑の画素を注目画素とし
た場合にフィルタリングされた画素について、それぞ
れ、上段と下段とに分けて図示しているが、水平成分ロ
ーパスフィルタ３１は、同一のラインの処理を同時に実
行することが可能である。
【００６０】図７は、間引き処理部１４に入力される前
の画像の帯域を示す図である。間引き前の画像における
ナイキストの限界周波数ｆｎは、間引き前画像のサンプ
リング周波数ｆｓの１／２である。
【００６１】図８は、水平成分ローパスフィルタ３１に
おいて、間引き前の画像に対して、（１、０、１、０、
１）／３というフィルタがかけられた後の帯域を示す図
であり、図９は、水平１／３間引き処理部３２におい
て、間引き処理された後の帯域を示す図である。
【００６２】図８および図９において、ナイキストの限
界周波数ｆｎ’およびサンプリング周波数ｆｓ’は、い
ずれも図７を用いて説明した間引き処理部１４に入力さ
れる前の画像と比較して、適切に制限された値となり、
更に、これらのサンプリング点は等間隔である。
【００６３】すなわち、従来の間引き画像の生成方法で
は、殆どの画素が用いられることなく、一部の画素のみ
を利用して、間引き画像が生成されていたが、間引き処
理部１４の処理によって、全ての画素を用いてフィルタ
処理が実行され、等間隔に間引き処理が行われて、間引
き画像が生成されるので、画像位相のずれがない、折り
返しの少ない間引き画像を得ることができる。
【００６４】間引き処理部１４においては、水平成分ロ
ーパスフィルタ３１において、間引き前の画像に対し
て、（１、０、１、０、１）／３というフィルタがかけ
られ、水平１／３間引き処理部３２において、１／３に
間引きされるものとして説明したが、間引き後のサンプ
リング周波数ｆｓ’にトラップポイントが入り、ナイキ
ストの限界周波数ｆｎ’で、適切に帯域制限されるフィ
ルタで、かつ、間引き後に画像位相のずれがないもので
あれば、どのようなフィルタが用いられてもかまわな
い。
【００６５】例えば、このような間引き方法は、間引き
率１／３以外であっても、間引き率１／（２ｎ−１）
（ただし、ｎは正の整数）である場合において成立す
る。例えば、図３のデジタルカメラ１において、間引き
処理部１４に代わって、図１０に示す間引き処理部４１
を設けるようにしても良い。
【００６６】水平成分ローパスフィルタ５１は、入力さ
れた画像信号に対して、水平方向に（１、０、１、０、
１、０、１、０、１）／５というフィルタをかける。水
平１／５間引き処理部５２は、水平方向に５画素おきに
リサンプリング（間引き）を行う。
【００６７】例えば、図５を用いて説明した、２×２の
ベイヤー配列でコーディングが行われる場合のフィルタ
リングおよびリサンプリングについて、図１１を用いて
説明する。
【００６８】水平成分ローパスフィルタ５１が、第１の
ラインにおいて、１つの緑の画素を注目画素として、
（１、０、１、０、１、０、１、０、１）／５というフ
ィルタをかけた場合、注目画素を含む５つの緑の画素に
対応する部分には１が乗算され、赤の画素に対応する部
分は０が乗算されて、それらの画素値の合計が５で除算
されるので、注目画素となる緑の画素と、その画素に隣
接する緑の画素との単純平均が算出される。
【００６９】一方、水平成分ローパスフィルタ５１が、
１つの赤の画素を注目画素として、（１、０、１、０、
１、０、１、０、１）／５というフィルタをかけた場
合、注目画素を含む５つの赤の画素に対応する部分には
１が乗算され、緑の画素に対応する部分は０が乗算され
て、それらの画素値の合計が５で除算されるので、注目
画素となる赤の画素と、その画素に隣接する赤の画素と
の単純平均が算出される。
【００７０】同様にして、第２のラインにおける緑の画
素と、青の画素も水平成分ローパスフィルタ５１により
フィルタリングされる。そして、水平１／５間引き処理
部５２において、それぞれの画素が水平成分の５画素毎
に間引きされるので、最終的には、図１１の図中矢印で
示されている５画素おきの画素を注目画素として、その
画素に隣接する同色の画素との単純平均値を算出するこ
とにより得られる画素で構成される間引き画素群が生成
される。
【００７１】図１１においては、緑の画素を注目画素と
した場合と、赤の画素を注目画素とした場合、および、
青の画素を注目画素とした場合と緑の画素を注目画素と
した場合にフィルタリングされた画素について、それぞ
れ、上段と下段とに分けて図示しているが、間引き処理
部４１は、同一のラインの処理を同時に実行することが
可能である。
【００７２】例えば、図７を用いて説明したように、間
引き前の画像におけるナイキストの限界周波数ｆｎが、
間引き前画像のサンプリング周波数ｆｓの１／２である
画像が、間引き処理部４１に入力された場合について、
図１２および図１３を用いて説明する。
【００７３】図１２は、水平成分ローパスフィルタ５１
において、間引き前の画像に対して、（１、０、１、
０、１、０、１、０、１）／５というフィルタがかけら
れた後の帯域を示す図であり、図１３は、水平１／５間
引き処理部５２において、間引き処理された後の帯域を
示す図である。
【００７４】図１２および図１３に示される、フィルタ
がかけられた後の帯域、および、間引き処理された後の
帯域においては、ナイキストの限界周波数ｆｎ’および
サンプリング周波数ｆｓ’は、いずれも図７を用いて説
明した間引き処理前の画像と比較して、適切に制限され
た値となり、更に、これらのサンプリング点は等間隔で
ある。
【００７５】すなわち、上述した間引き処理部１４にお
ける場合と同様にして、間引き処理部４１の処理によ
り、全ての画素を用いてフィルタ処理が行われて、等間
隔で間引き処理が行われることにより、折り返しの少な
い間引き画像を得ることができる。
【００７６】このようにして、間引き率１／（２ｎ−
１）（ただし、ｎは正の整数）において、注目画素の周
辺の同色の画素（２ｎ−１）を加算平均して間引きを行
うことにより、間引き後のサンプリング周波数ｆｓ’に
トラップポイントを入れることができ、ナイキストの限
界周波数ｆｎ’で、適切に帯域制限され、かつ、間引き
後に画像位相のずれがない間引き処理を行うことができ
る。また、この間引き処理では、全ての画素を用いて間
引き画像が生成されるので、折り返しの少ない間引き画
像を得ることができる。
【００７７】このような間引き処理は、例えば、図３の
デジタルカメラ１において、間引き処理部１４に代わっ
て、図１４に示す間引き処理部６１を設けることによ
り、水平方向のみならず、垂直方向に実行することが可
能である。
【００７８】ディレイライン７１は、４ライン分のディ
レイラインであり、５ラインの画像信号を、垂直方向に
同時化するものである。垂直成分ローパスフィルタ７２
は、入力された画像信号に対して、垂直方向に（１、
０、１、０、１）／３というフィルタをかける。垂直１
／３間引き処理部７３は、垂直方向に３画素おきにリサ
ンプリング（間引き）を行う。
【００７９】例えば、図５を用いて説明した、２×２の
ベイヤー配列でコーディングが行われる場合のフィルタ
リングおよびリサンプリングについて、図１５を用いて
説明する。
【００８０】第１の垂直ラインでは、緑の画素と青の画
素が１画素ずつ交互に配置され、第２の垂直ラインで
は、赤の画素と緑の画素が、１画素ずつ交互に配置され
ている。垂直成分ローパスフィルタ７２が、第１の垂直
ラインにおいて、１つの緑の画素を注目画素として、
（１、０、１、０、１）／３というフィルタをかけた場
合、緑の画素に対応する部分には１が乗算され、赤の画
素に対応する部分は０が乗算されて、注目画素を含む３
つの画素の画素値の合計が３で除算されるので、注目画
素となる緑の画素と、その画素に隣接する緑の画素との
単純平均が算出される。
【００８１】一方、垂直成分ローパスフィルタ７２が、
１つの赤の画素を注目画素として、（１、０、１、０、
１）／３というフィルタをかけた場合、赤の画素に対応
する部分には１が乗算され、緑の画素に対応する部分は
０が乗算されて、注目画素を含む３つの画素値の合計が
３で除算されるので、注目画素となる赤の画素と、その
画素に隣接する赤の画素との単純平均が算出される。
【００８２】同様にして、第２の垂直ラインにおける緑
の画素と青の画素も、垂直成分ローパスフィルタ７２に
よりフィルタリングされる。
【００８３】そして、垂直１／３間引き処理部７３にお
いて、それぞれの画素が垂直成分の３画素毎に間引きさ
れるので、最終的には、図１５の図中矢印で示されてい
る３画素おきの画素を注目画素として、その画素に隣接
する同色の画素との単純平均値を算出することにより得
られる画素で構成される間引き画素群が生成される。
【００８４】図１５においては、緑の画素を注目画素と
した場合と赤の画素を注目画素とした場合、および、青
の画素を注目画素とした場合と緑の画素を注目画素とし
た場合にフィルタリングされた画素について、それぞ
れ、右ラインと左ラインとに分けて図示しているが、間
引き処理部６１は、同一の垂直ラインの処理を同時に実
行することが可能である。
【００８５】図１４および図１５を用いて説明した、垂
直成分の間引き処理においても、間引き後のサンプリン
グ周波数ｆｓ’にトラップポイントを入れることがで
き、ナイキストの限界周波数ｆｎ’で適切に帯域制限さ
れ、かつ、間引き後に画像位相のずれがない間引き処理
を行うことができる。また、この間引き処理でも、全て
の画素を用いて間引き画像が生成されるので、折り返し
の少ない間引き画像を得ることができる。
【００８６】また、図３のデジタルカメラ１において、
撮像部１３が、ブロック単位で画像の読み出しが可能で
ある場合、間引き処理部１４に代わって、図１６に示す
間引き処理部８１を設けることにより、水平垂直同時に
間引き処理を行うことができる。
【００８７】水平垂直成分ローパスフィルタ９１は、入
力された画像信号に対して、水平方向に（１、０、１、
０、１）／３、垂直方向に（１、０、１、０、１）／
３、すなわち、水平垂直方向に（３、０、３、０、３）
／９のフィルタ係数を有し、水平垂直方向の隣接する同
色の９画素を加算平均する処理を行うフィルタである。
水平垂直１／３間引き処理部９２は、水平方向および垂
直方向にそれぞれ３画素おき、すなわち、９画素を１画
素にリサンプリング（間引き）する。
【００８８】例えば、２×２のベイヤー配列でコーディ
ングが行われる場合、図１７に示されるような入力画素
に対して、水平垂直成分ローパスフィルタ９１は、図１
８に示されるように、青成分、緑成分、赤成分の画素の
それぞれに、水平垂直方向に（３、０、３、０、３）／
９のフィルタ処理を行うので、それぞれ、注目画素に対
して、対応する色成分以外の画素には０が乗算され、対
応する色成分の画素には１が乗算されて、注目画素を含
む９つの画素値の合計が９で除算されるので、注目画素
に水平垂直方向に隣接する同色の９画素が加算平均され
る。
【００８９】そして、水平垂直１／３間引き処理部９２
において、水平垂直方向の隣接する９画素が１画素に間
引きされるので、図１９に示されるような間引き画像を
得ることができる。
【００９０】ここでは、水平垂直の同色の３画素におい
て、注目画素を水平垂直方向の５×５画素の中央の画素
とした正方形の画素群（ｎ，ｍ）（ただし、ｎは１乃至
５、ｍは１乃至５の値をとる）において、（１，１）
（１，３）（１，５）（３，１）（３，３）（すなわち
注目画素）（３，５）（５，１）（５，３）（５，５）
の９つの画素を、加算平均するようにしているが、間引
き後の画素の位相位置が変化しなければ、どのような形
状で加算処理を行うようにしてもかまわない。
【００９１】例えば、水平垂直成分ローパスフィルタ９
１は、図２０に示されるように、青成分、および赤成分
の画素には、水平垂直方向に（３、０、３、０、３）／
９のフィルタ処理を行い、緑成分の画素には、水平垂直
方向に（１、２、３、２、１）／９のフィルタ係数でフ
ィルタ処理を行い、注目画素に対して、菱形形状に隣接
する９画素の加算平均を行うようにしても良い。
【００９２】このように、市松状に配置されている緑成
分の画素に対して、水平垂直方向に（１、２、３、２、
１）／９のフィルタを用いて、菱形形状に隣接する９画
素の加算平均を行うようにすることにより、図１８を用
いて説明した（３、０、３、０、３）／９のフィルタ処
理を用いる場合と比較して、緑の画素において、注目画
素に対して最も隣接する９画素の加算平均を算出するこ
とができる。
【００９３】このように、水平垂直方向に同時に間引き
処理を行う場合、特に、図２０を用いて説明したよう
に、フィルタ係数が画素によって異なるような場合、図
３のデジタルカメラ１の撮像部１３が有する撮像素子が
ＣＣＤであっても実現可能ではあるが、撮像素子は、Ｃ
ＣＤよりもＣＭＯＳのほうが好適である。
【００９４】なお、水平垂直方向に同時に間引き処理を
行う場合においても、同様の効果を奏することができる
間引き処理は、間引き率１／３以外であっても、間引き
率１／（２ｎ−１）（ただし、ｎは正の整数）において
成立する。
【００９５】図１６乃至図２０を用いて説明したよう
に、本発明を適用した水平垂直成分の間引き処理におい
ても、間引き後のサンプリング周波数ｆｓ’にトラップ
ポイントを入れることができ、ナイキストの限界周波数
ｆｎ’で、適切に帯域制限され、かつ、間引き後に画像
位相のずれがない間引き処理を行うことができる。ま
た、この水平垂直成分の間引き処理でも、全ての画素を
用いて間引き画像が生成されるので、折り返しの少ない
間引き画像を得ることができる。
【００９６】以上説明した処理においては、加算処理す
る各色成分の画素範囲が空間的に重複しているため、間
引き前と間引き後との画像の色コーディングが同一であ
る。従って、本発明は、２×２の色コーディングであれ
ば、どのような色コーディングを用いた処理にも適用可
能である。
【００９７】ここでは、光の３原色を用いたベイヤー配
列が用いられている場合について説明したが、例えば、
補色を用いた色コーディングが用いられている場合に
も、本発明は適用可能である。例えば、補色フィルタで
は、色の三原色であるCMY（シアン、マゼンダ、イエロ
ー）に加えてＧ（緑）を加えた「CMYG」で、２×２のパ
ターンを作っているものが多いが、このような補色フィ
ルタが用いられている場合にも、本発明が適用可能であ
ることは言うまでもない。
【００９８】上述した一連の処理は、ソフトウェアによ
り実行することもできる。そのソフトウェアは、そのソ
フトウェアを構成するプログラムが、専用のハードウェ
アに組み込まれているコンピュータ、または、各種のプ
ログラムをインストールすることで、各種の機能を実行
することが可能な、例えば汎用のパーソナルコンピュー
タなどに、記録媒体からインストールされる。
【００９９】この記録媒体は、図３に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク２１（フレキシブルディスクを含む）、光ディスク２
２（CD-ROM（Compact Disk-Read Only Memory），DVD
（Digital Versatile Disk）を含む）、光磁気ディスク
２３（ＭＤ（Mini-Disk)（商標）を含む）、もしくは半
導体メモリ２４などよりなるパッケージメディアなどに
より構成される。
【０１００】また、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【０１０１】
【発明の効果】本発明によれば、撮像した画像を間引き
して表示したり、記録したり、出力することができる。
また、本発明によれば、必要に応じて、撮像した画像に
おいて、全ての画素を用いて同色の（２ｎ−１）（ｎは
正の整数）個の画素を単純平均した後に、１／（２ｎ−
１）に間引きすることにより、間引き後に画像位相のず
れがなく、折り返しの少ない間引き画像を得ることがで
きる。
【図面の簡単な説明】
【図１】従来の垂直１／８間引きについて説明する図で
ある。
【図２】従来の垂直２／１２間引きについて説明する図
である。
【図３】本発明を適応したビデオカメラの構成を示すブ
ロック図である。
【図４】図３の間引き処理部の更に詳細な構成を示すブ
ロック図である。
【図５】ベイヤー配列を説明する図である。
【図６】図４の間引き処理部が実行する処理について説
明する図である。
【図７】図４の間引き処理部に入力する画像の帯域につ
いて説明する図である。
【図８】図４の間引き処理部でフィルタリングされた画
像の帯域について説明する図である。
【図９】図４の間引き処理部から出力される画像の帯域
について説明する図である。
【図１０】間引き処理部の異なる構成を示すブロック図
である。
【図１１】図１０の間引き処理部が実行する処理につい
て説明する図である。
【図１２】図１０の間引き処理部でフィルタリングされ
た画像の帯域について説明する図である。
【図１３】図１０の間引き処理部から出力される画像の
帯域について説明する図である。
【図１４】間引き処理部の異なる構成を示すブロック図
である。
【図１５】図１４の間引き処理部が実行する処理につい
て説明する図である。
【図１６】間引き処理部の異なる構成を示すブロック図
である。
【図１７】図１６の間引き処理部に入力される画像信号
を説明するための図である。
【図１８】図１６の間引き処理部が実行する処理につい
て説明するための図である。
【図１９】図１６の間引き処理部から出力される画像信
号を説明するための図である。
【図２０】図１６の間引き処理部が実行する処理の異な
る例について説明するための図である。
【符号の説明】
１ デジタルカメラ， １１ 操作入力部， １２ 制
御部， １３ 撮像部， １４ 間引き処理部， １５
カメラ信号処理部， １６ 表示部， １７出力部，
１８ ドライブ， ３１ 水平成分ローパスフィル
タ， ３２ 水平１／３間引き処理部， ４１ 間引き
処理部， ５１ 水平成分ローパスフィルタ， ５２
水平１／５間引き処理部， ６１ 間引き処理部， ７
１ ディレイライン， ７２ 垂直成分ローパスフィル
タ， ７３ 垂直１／３間引き処理部， ８１ 間引き
処理部， ９１ 水平垂直ローパスフィルタ， ９２
水平垂直１／３間引き処理部
フロントページの続き (72)発明者 廣田 克明 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C024 CX14 CY12 EX52 GY31 HX05 HX21 5C065 AA01 AA03 BB13 CC01 DD15 EE06 GG02 GG17 GG23 GG24

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 画像を処理する画像処理装置において、 複数の色成分からなり、２×２の色コーディングを有す
    る画像信号を取得する取得手段と、 前記取得手段により取得された前記画像信号のうち、注
    目画素と前記注目画素近傍の同一の色成分の画素との
    （２ｎ−１）個分の画素値の加算平均値を算出し、前記
    注目画素の画素値とするフィルタ手段と、 前記フィルタ手段により算出された前記加算平均値を画
    素値とする前記画素を、１／（２ｎ−１）の間引き率で
    間引きする間引き手段とを備えることを特徴とする画像
    処理装置。
  2. 【請求項２】 前記フィルタ手段は、１フレームの前記
    画像信号の、全ての前記画素の画素値を用いて、前記加
    算平均値を算出することを特徴とする請求項１に記載の
    画像処理装置。
  3. 【請求項３】 前記フィルタ手段は、前記注目画素に対
    して、水平方向に並んでいる同一の色成分の画素を選択
    して、（２ｎ−１）個の画素の画素値の加算平均値を算
    出し、前記注目画素の画素値とすることを特徴とする請
    求項１に記載の画像処理装置。
  4. 【請求項４】 前記フィルタ手段は、前記注目画素に対
    して、垂直方向に並んでいる同一の色成分の画素を選択
    して、（２ｎ−１）個の画素の画素値の加算平均値を算
    出し、前記注目画素の画素値とすることを特徴とする請
    求項１に記載の画像処理装置。
  5. 【請求項５】 前記フィルタ手段は、前記注目画素に対
    して、水平方向および垂直方向に所定の範囲内の同一の
    色成分の画素を選択して、（２ｎ−１）個の画素の画素
    値の加算平均値を算出し、前記注目画素の画素値とする
    ことを特徴とする請求項１に記載の画像処理装置。
  6. 【請求項６】 前記フィルタ手段は、複数の前記色成分
    のうち、少なくとも１つの色成分の前記注目画素に対し
    て、前記注目画素に近い位置に配置されているものから
    順番に同一の色成分の画素を選択して、（２ｎ−１）個
    の画素の画素値の加算平均値を算出し、前記注目画素の
    画素値とすることを特徴とする請求項１に記載の画像処
    理装置。
  7. 【請求項７】 前記フィルタ手段は、複数の前記色成分
    の全ての色成分の前記注目画素に対して、前記注目画素
    に近い位置に配置されているものから順番に同一の色成
    分の画素を選択して、（２ｎ−１）個の画素の画素値の
    加算平均値を算出し、前記注目画素の画素値とすること
    を特徴とする請求項１に記載の画像処理装置。
  8. 【請求項８】 前記取得手段は、前記画像信号を撮像す
    る撮像手段を更に備えることを特徴とする請求項１に記
    載の画像処理装置。
  9. 【請求項９】 前記撮像手段は、ＣＭＯＳ ＩＣで構成
    されていることを特徴とする請求項８に記載の画像処理
    装置。
  10. 【請求項１０】 前記撮像手段、前記フィルタ手段、お
    よび前記間引き手段は、同一のＣＭＯＳ ＩＣで構成さ
    れていることを特徴とする請求項８に記載の画像処理装
    置。
  11. 【請求項１１】 前記取得手段により取得された前記画
    像信号に対応する画像を表示する表示手段を更に備え、 前記表示手段により表示される前記画像が動画像である
    場合、前記取得手段により取得された前記画像信号は、
    前記フィルタ手段、および前記間引き手段により処理さ
    れて、前記表示手段により表示され、 前記表示手段により表示される前記画像が静止画像であ
    る場合、前記取得手段により取得された前記画像信号
    は、前記フィルタ手段、および前記間引き手段により処
    理されずに、前記表示手段により表示されることを特徴
    とする請求項１に記載の画像処理装置。
  12. 【請求項１２】 前記取得手段により取得された前記画
    像信号を記録する記録手段を更に備え、 前記記録手段により記録される前記画像信号が動画像に
    対応する信号である場合、前記取得手段により取得され
    た前記画像信号は、前記フィルタ手段、および前記間引
    き手段により処理されて、前記記録手段により記録さ
    れ、 前記記録手段により記録される前記画像信号が静止画像
    に対応する信号である場合、前記取得手段により取得さ
    れた前記画像信号は、前記フィルタ手段、および前記間
    引き手段により処理されずに、前記記録手段により記録
    されることを特徴とする請求項１に記載の画像処理装
    置。
  13. 【請求項１３】 前記取得手段により取得された前記画
    像信号を出力する出力手段を更に備え、 前記出力手段により出力される前記画像信号が動画像に
    対応する信号である場合、前記取得手段により取得され
    た前記画像信号は、前記フィルタ手段、および前記間引
    き手段により処理されて、前記出力手段により出力さ
    れ、 前記出力手段により出力される前記画像信号が静止画像
    に対応する信号である場合、前記取得手段により取得さ
    れた前記画像信号は、前記フィルタ手段、および前記間
    引き手段により処理されずに、前記出力手段により出力
    されることを特徴とする請求項１に記載の画像処理装
    置。
  14. 【請求項１４】 画像を処理する画像処理装置の画像処
    理方法において、 複数の色成分からなり、２×２の色コーディングを有す
    る画像信号の取得を制御する取得制御ステップと、 前記取得制御ステップの処理により取得が制御された前
    記画像信号のうち、注目画素と前記注目画素近傍の同一
    の色成分の画素との（２ｎ−１）個分の画素値の加算平
    均値を算出し、前記注目画素の画素値とするフィルタ演
    算ステップと、 前記フィルタ演算ステップの処理により算出された前記
    加算平均値を画素値とする前記画素を、１／（２ｎ−
    １）の間引き率で間引きする間引きステップとを含むこ
    とを特徴とする画像処理方法。
  15. 【請求項１５】 画像を処理する画像処理装置用のプロ
    グラムであって、 複数の色成分からなり、２×２の色コーディングを有す
    る画像信号の取得を制御する取得制御ステップと、 前記取得制御ステップの処理により取得が制御された前
    記画像信号のうち、注目画素と前記注目画素近傍の同一
    の色成分の画素との（２ｎ−１）個分の画素値の加算平
    均値を算出し、前記注目画素の画素値とするフィルタ演
    算ステップと、 前記フィルタ演算ステップの処理により算出された前記
    加算平均値を画素値とする前記画素を、１／（２ｎ−
    １）の間引き率で間引きする間引きステップとを含むこ
    とを特徴とするコンピュータが読み取り可能なプログラ
    ムが記録されている記録媒体。
  16. 【請求項１６】 画像を処理する画像処理装置を制御す
    るコンピュータが実行可能なプログラムであって、 複数の色成分からなり、２×２の色コーディングを有す
    る画像信号の取得を制御する取得制御ステップと、 前記取得制御ステップの処理により取得が制御された前
    記画像信号のうち、注目画素と前記注目画素近傍の同一
    の色成分の画素との（２ｎ−１）個分の画素値の加算平
    均値を算出し、前記注目画素の画素値とするフィルタ演
    算ステップと、 前記フィルタ演算ステップの処理により算出された前記
    加算平均値を画素値とする前記画素を、１／（２ｎ−
    １）の間引き率で間引きする間引きステップとを含むこ
    とを特徴とするプログラム。
JP2002139574A 2002-05-15 2002-05-15 画像処理装置、および画像処理方法、記録媒体、並びにプログラム Expired - Fee Related JP3947969B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2002139574A JP3947969B2 (ja) 2002-05-15 2002-05-15 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
TW092108447A TWI236839B (en) 2002-05-15 2003-04-11 Image processor, image processing method, recording medium, and program
PCT/JP2003/004810 WO2003098941A1 (fr) 2002-05-15 2003-04-16 Systeme de traitement d'image, procede de traitement d'image, support d'enregistrement, et programme associe
EP03725588A EP1505839B1 (en) 2002-05-15 2003-04-16 Image processing system, and image processing method, recording medium, and program
KR1020047017843A KR100970030B1 (ko) 2002-05-15 2003-04-16 화상 처리 장치, 및 화상 처리 방법, 기록 매체
CNA03810993XA CN1653823A (zh) 2002-05-15 2003-04-16 影像处理设备和影像处理方法、记录媒体和程序
US10/514,366 US7826658B2 (en) 2002-05-15 2003-04-16 Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002139574A JP3947969B2 (ja) 2002-05-15 2002-05-15 画像処理装置、および画像処理方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2003333610A true JP2003333610A (ja) 2003-11-21
JP3947969B2 JP3947969B2 (ja) 2007-07-25

Family

ID=29544894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002139574A Expired - Fee Related JP3947969B2 (ja) 2002-05-15 2002-05-15 画像処理装置、および画像処理方法、記録媒体、並びにプログラム

Country Status (7)

Country Link
US (1) US7826658B2 (ja)
EP (1) EP1505839B1 (ja)
JP (1) JP3947969B2 (ja)
KR (1) KR100970030B1 (ja)
CN (1) CN1653823A (ja)
TW (1) TWI236839B (ja)
WO (1) WO2003098941A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080937A (ja) * 2004-09-10 2006-03-23 Sony Corp 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP2006261789A (ja) * 2005-03-15 2006-09-28 Canon Inc 撮像装置、撮像素子、及び撮像処理方法
JP2009077274A (ja) * 2007-09-21 2009-04-09 Konica Minolta Opto Inc 画像処理装置、画像処理方法、及び撮像装置
JP2010109658A (ja) * 2008-10-30 2010-05-13 Nikon Corp 撮像装置
JP2010178281A (ja) * 2009-02-02 2010-08-12 Nikon Corp 撮像装置
US7782370B2 (en) 2006-11-02 2010-08-24 Hoya Corporation Imaging unit
JP2013251680A (ja) * 2012-05-31 2013-12-12 Jvc Kenwood Corp 画像処理装置及び画像処理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956871B2 (en) * 2005-04-28 2011-06-07 Samsung Electronics Co., Ltd. Color disparity correction in image sensors methods and circuits
JP4983423B2 (ja) * 2007-06-15 2012-07-25 ソニー株式会社 画像信号処理装置および画像信号処理方法
US8587705B2 (en) * 2010-06-28 2013-11-19 Intel Corporation Hardware and software partitioned image processing pipeline
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
CN103177699B (zh) * 2011-12-20 2015-12-09 上海天马微电子有限公司 场序列液晶显示装置中的数据处理方法
EP2924681B1 (en) 2012-11-22 2020-01-01 Sharp Kabushiki Kaisha Display device and electronic device
CN107431750B (zh) * 2015-03-18 2020-06-30 索尼公司 图像处理装置、图像处理方法和图像拍摄装置
EP3466052A4 (en) * 2016-06-07 2020-02-19 Airy3d Inc. LIGHT FIELD IMAGE DEVICE AND METHOD FOR DEPTH DETECTION AND THREE-DIMENSIONAL IMAGE
KR20210147694A (ko) 2020-05-29 2021-12-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602289A (en) * 1982-05-31 1986-07-22 Tokyo Shibaura Denki Kabushiki Kaisha Solid state image pick-up device
EP0336430B1 (en) * 1988-04-08 1994-10-19 Dainippon Screen Mfg. Co., Ltd. Method of extracting contour of subject image from original
JPH0295093A (ja) * 1988-09-30 1990-04-05 Victor Co Of Japan Ltd 点順次カラー多重信号の同時化回路
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US5418565A (en) * 1994-02-15 1995-05-23 Eastman Kodak Company CFA compatible resolution reduction in a single sensor electronic camera
US5452338A (en) * 1994-07-07 1995-09-19 General Electric Company Method and system for real time offset correction in a large area solid state x-ray detector
JP4190576B2 (ja) * 1994-08-31 2008-12-03 ソニー株式会社 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置
US5828406A (en) * 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
KR100209409B1 (ko) * 1995-03-20 1999-07-15 전주범 물체 왜곡을 이용한 물체 기반 부호화 방법 및 장치
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5956468A (en) * 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
JP4229481B2 (ja) * 1996-07-31 2009-02-25 オリンパス株式会社 撮像表示システム
JP4161384B2 (ja) * 1997-04-30 2008-10-08 ソニー株式会社 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法
JPH11103407A (ja) * 1997-09-29 1999-04-13 Nec Corp Ｃｃｄデータ画素補間回路およびこのｃｃｄデータ画素 補間回路を備えたデジタルスチルカメラ
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
US6069973A (en) * 1998-06-30 2000-05-30 Xerox Corporation Method and apparatus for color correction in a multi-chip imaging array
JP3893424B2 (ja) * 1998-11-06 2007-03-14 富士フイルム株式会社 固体撮像装置および信号読出し方法
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US6539125B1 (en) * 1998-12-21 2003-03-25 Xerox Corporation Modified median filter that better preserves textures
EP1017230B1 (en) 1998-12-28 2010-02-10 SANYO ELECTRIC Co., Ltd. Imaging apparatus and digital camera
JP3615441B2 (ja) 1998-12-28 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6970268B1 (en) * 1999-02-05 2005-11-29 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
EP1073279A4 (en) * 1999-02-19 2006-04-05 Sony Corp PICTURE SIGNAL PROCESSOR, PICTURE SIGNAL PROCESSING METHOD, LEARNING DEVICE, LERMETHOID AND RECORDING MEDIUM
US7123299B1 (en) * 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
JP3621288B2 (ja) * 1999-04-16 2005-02-16 シャープ株式会社 画像処理装置
JP3663973B2 (ja) * 1999-05-06 2005-06-22 日本電気株式会社 画像信号処理装置および画像信号処理方法
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
US6744929B1 (en) * 1999-11-18 2004-06-01 Nikon Corporation Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program
JP4599672B2 (ja) * 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP2001298659A (ja) * 2000-02-08 2001-10-26 Canon Inc 撮像装置、画像処理システム、撮像方法、及び記憶媒体
JP3654420B2 (ja) * 2000-02-25 2005-06-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像変換方法、画像処理装置、および画像表示装置
JP4136255B2 (ja) * 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP3631655B2 (ja) * 2000-03-22 2005-03-23 シャープ株式会社 固体撮像装置
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
WO2002035059A1 (en) * 2000-10-23 2002-05-02 Halliburton Energy Services, Inc. Fluid property sensors and associated methods of calibrating sensors in a subterranean well
US6833845B2 (en) * 2000-10-27 2004-12-21 Matsushita Electric Industrial Co., Ltd. Image object content generation device and padding device
US6816197B2 (en) * 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
JP4145586B2 (ja) * 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
KR100914220B1 (ko) * 2002-04-22 2009-08-26 노키아 코포레이션 선 스펙트럴 주파수(ｌｓｆ) 벡터들의 발생
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080937A (ja) * 2004-09-10 2006-03-23 Sony Corp 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP4691930B2 (ja) * 2004-09-10 2011-06-01 ソニー株式会社 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP2006261789A (ja) * 2005-03-15 2006-09-28 Canon Inc 撮像装置、撮像素子、及び撮像処理方法
US8164646B2 (en) 2005-03-15 2012-04-24 Canon Kabushiki Kaisha Image capturing apparatus, image capturing sensor, and image capturing processing method
US7782370B2 (en) 2006-11-02 2010-08-24 Hoya Corporation Imaging unit
JP2009077274A (ja) * 2007-09-21 2009-04-09 Konica Minolta Opto Inc 画像処理装置、画像処理方法、及び撮像装置
US8086032B2 (en) 2007-09-21 2011-12-27 Konica Minolta Opto, Inc. Image processing device, image processing method, and image pickup apparatus
JP2010109658A (ja) * 2008-10-30 2010-05-13 Nikon Corp 撮像装置
JP2010178281A (ja) * 2009-02-02 2010-08-12 Nikon Corp 撮像装置
JP2013251680A (ja) * 2012-05-31 2013-12-12 Jvc Kenwood Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP1505839B1 (en) 2012-05-09
TW200404452A (en) 2004-03-16
KR20050004836A (ko) 2005-01-12
CN1653823A (zh) 2005-08-10
TWI236839B (en) 2005-07-21
WO2003098941A1 (fr) 2003-11-27
US20060055794A1 (en) 2006-03-16
KR100970030B1 (ko) 2010-07-16
EP1505839A4 (en) 2006-05-03
US7826658B2 (en) 2010-11-02
EP1505839A1 (en) 2005-02-09
JP3947969B2 (ja) 2007-07-25

Similar Documents

Publication Publication Date Title
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP2019036988A (ja) 電子機器
JP3947969B2 (ja) 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
WO2010016166A1 (ja) 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路
JP4253634B2 (ja) デジタルカメラ
EP2685725B1 (en) Imaging device and imaging program
WO2018198766A1 (ja) 固体撮像装置および電子機器
US8111298B2 (en) Imaging circuit and image pickup device
US8885089B2 (en) Imaging device and focusing control method
JP2004221265A (ja) 固体撮像素子及びデジタルカメラ
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP4294810B2 (ja) 固体撮像装置および信号読出し方法
EP2800355B1 (en) Imaging device, method for controlling imaging device, and control program
JP2005109994A (ja) 撮像装置
JP4317117B2 (ja) 固体撮像装置および撮像方法
EP2800376B1 (en) Imaging device, method for controlling imaging device, and control program
JP2004104195A (ja) 画像信号処理装置
JP6137539B2 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP2011244351A (ja) 撮像装置及び固体撮像素子の駆動制御方法
JP2003101815A (ja) 信号処理装置及び信号処理方法
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP2004172858A (ja) 撮像装置および撮像方法
JP2003116147A (ja) 固体撮像装置
CN112585960A (zh) 摄像元件、摄像装置、摄像方法以及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070405

R151 Written notification of patent or utility model registration

Ref document number: 3947969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140427

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees