JP2023010159A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2023010159A
JP2023010159A JP2021114088A JP2021114088A JP2023010159A JP 2023010159 A JP2023010159 A JP 2023010159A JP 2021114088 A JP2021114088 A JP 2021114088A JP 2021114088 A JP2021114088 A JP 2021114088A JP 2023010159 A JP2023010159 A JP 2023010159A
Authority
JP
Japan
Prior art keywords
pixel
image processing
pixels
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021114088A
Other languages
English (en)
Inventor
剛 樋口
Takeshi Higuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2021114088A priority Critical patent/JP2023010159A/ja
Priority to US17/858,578 priority patent/US20230009861A1/en
Publication of JP2023010159A publication Critical patent/JP2023010159A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

【課題】複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置により取得される画像データから画素値の変化が少ない方向を適切に判断する。【解決手段】画像処理装置は、複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置から画像データを取得する取得部と、着目する画素群の周囲に配置され、前記着目する画素群の色と異なる複数の他の画素群に含まれる少なくとも１つの画素対の画素値の変化量に基づいて、前記着目する画素群の位置における画素値の変化が少ない方向を判断する方向判断部と、を有する。【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。
ベイヤー配列の１つの赤色の画素Ｒ、２つの緑色の画素Ｇおよび１つの青色の画素Ｂの各画素を縦２画素、横２画素の画素群として配列したＱＢＣ（Quad Bayer Coding）と称する画素配列を有するイメージセンサが知られている。また、画素Ｒ、画素Ｇおよび画素Ｂに加えて他の色の画素を含むイメージセンサが知られている。また、この種のイメージセンサで取得した画像データをベイヤー配列の画像データに変換する場合、着目画素の周囲の画素の画素値を使用して補間処理を実施する手法が知られている。
国際公開第２０２０／２４６１２９号公報 国際公開第２０２０／１３８４６６号公報 特開２０２０－０２５３０５号公報 特開２０１７－１５８１６２号公報 特開２０１９－１０６５７６号公報 特開２０１１－２５９０６０号公報
例えば、画素値を補間する場合、画素値の変化が少ない方向が判断され、判断した結果に基づいて補間に使用する画素が決められる。しかしながら、方向の判断が適切でない場合、本来の画像には存在しない図形（アーティファクト）が発生するおそれがある。アーティファクトの発生を抑制するためには、画素値の変化が少ない方向を適切に判断することが重要である。
本発明は、上記の点に鑑みてなされたもので、複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置により取得される画像データから画素値の変化が少ない方向を適切に判断することを目的とする。
本発明の一態様では、画像処理装置は、複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置から画像データを取得する取得部と、着目する画素群の周囲に配置され、前記着目する画素群の色と異なる複数の他の画素群に含まれる少なくとも１つの画素対の画素値の変化量に基づいて、前記着目する画素群の位置における画素値の変化が少ない方向を判断する方向判断部と、を有する。
開示の技術によれば、複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置により取得される画像データから画素値の変化が少ない方向を適切に判断することができる。
第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。 図１の画像処理装置の機能構成の一例を示すブロック図である。 図１の移動体に搭載される各種装置の構成の概要を示すブロック図である。 図３の画像処理装置および情報処理装置の構成の一例を示すブロック図である。 図３の撮像装置により取得されたＱＢＣ配列の画像データをベイヤー配列の画像データに変換する例を示す説明図である。 図３の画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理の一例を示すフロー図である。 図６のステップＳ１２の処理の一例を示す説明図である。 図６のステップＳ１２の処理の別の例を示す説明図である。 図６のステップＳ１３の処理の一例を示す説明図である。 図６のステップＳ１３の処理の別の例を示す説明図である。 図６のステップＳ２０、Ｓ３０の処理の一例を示す説明図である。 第２の実施形態における画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理の一例を示すフロー図である。 図１２のステップＳ１４の処理の一例を示す説明図である。 図１２のステップＳ１５、Ｓ１６の処理の一例を示す説明図である。 第３の実施形態における画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理の一例を示すフロー図である。 第４の実施形態における画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理の一例を示すフロー図である。
以下、図面を用いて実施形態を説明する。以下の説明では、画像データを単に画像と称する場合がある。
（第１の実施形態）
図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例のイメージを示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体２００に搭載される。移動体２００の進行方向Ｄの前方、後方、左側および右側と、移動体２００の車内の前方には、カメラ等の撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅが設置される。以下では、撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅを区別なく説明する場合、撮像装置１９とも称される。撮像装置１９に搭載されるイメージセンサの画素の例は、図５で説明される。
なお、移動体２００に設置される撮像装置１９の数および設置位置は、図１に限定されない。例えば、１つの撮像装置１９が移動体２００の前方のみに設置されてもよく、２つの撮像装置１９が前方と後方のみに設置されてもよい。あるいは、撮像装置１９は、移動体２００の天井に設置されてもよい。
また、画像処理システム１００が搭載される移動体２００は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。また、画像処理システム１００は、例えば、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの、移動体２００に設置された撮像装置１９以外の撮像装置１９から取得した画像を処理するシステムであってもよい。
各撮像装置１９は、有線または無線で画像処理装置１０に接続される。さらに、各撮像装置１９と画像処理装置１０との距離は、図１でイメージされる距離よりも長くてもよい。例えば、撮像装置１９で取得した画像データは、ネットワークを介して、移動体２００の外部に設置される画像処理装置１０に伝送されてもよい。この場合、画像処理装置１０および情報処理装置１１の少なくとも一方は、クラウドコンピューティングにより実現されてもよい。
画像処理システム１００は、画像処理装置１０、情報処理装置１１および表示装置１２を有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体２００のイメージ図に画像処理システム１００が重ねて記載されている。しかしながら、実際には、画像処理装置１０および情報処理装置１１は、移動体２００に搭載される制御基板等に実装され、表示装置１２は、移動体２００内において、運転者等の人物から見える位置に設置される。なお、画像処理装置１０は、情報処理装置１１の一部として制御基板等に実装されてもよい。
図２は、図１の画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、取得部１０ａ、方向判断部１０ｂおよび画像変換部１０ｃを有する。取得部１０ａは、各撮像装置１９により撮像された移動体２００の周囲の画像を示す画像データを取得する取得処理を実施する。ここで、撮像装置１９は、複数の画素を各々含む複数色の画素群が繰り返し配置されたイメージセンサを有する。イメージセンサは、取得した画像データを画像処理装置１０に出力する。例えば、イメージセンサは、ＱＢＣ配列の画素を有してもよい。
方向判断部１０ｂは、着目する画素群の周囲に配置され、着目する画素群の色と異なる複数の他の画素群に含まれる少なくとも１つの画素対の画素値の変化量に基づいて、着目する画素群の位置における画素値の変化が少ない方向を判断する方向判断処理を実施する。例えば、画素値の変化が少ない方向は、撮像装置１９により取得された画像において、輝度が大きく変化する画像の境界部分であるエッジに沿う方向である。
画像変換部１０ｃは、方向判断部１０ｂが判断した方向に基づいて、着目する画素群の画素の少なくともいずれかを、他の色の画素の画素値に置き換える。そして、画像変換部１０ｃは、撮像装置１９により取得された画像データを撮像装置１９の画素配列と異なる画素配列の画像データに変換し、変換した画像データを出力する。画像変換部１０ｃが出力する画像データは、画像処理結果として表示装置１２および情報処理装置１１の少なくとも一方に出力されてもよい。
図３は、図１の移動体２００に搭載される各種装置の構成の概要を示す。移動体２００は、内部ネットワークを介して相互に接続された画像処理装置１０、情報処理装置１１、表示装置１２、少なくとも１つのＥＣＵ（Electronic Control Unit）１３および無線通信装置１４を有する。また、移動体２００は、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８および撮像装置１９を有する。例えば、内部ネットワークは、ＣＡＮ（Controller Area Network）またはイーサネット（登録商標）等の車載ネットワークである。
画像処理装置１０は、撮像装置１９により取得された画像データ（フレームデータ）を受信し、受信した画像データを使用して画像処理を実施する。情報処理装置１１は、画像処理装置１０により画像処理された画像データを用いて、画像認識等の処理を実施する。例えば、情報処理装置１１は、画像処理装置１０により生成された画像に基づいて、移動体２００の外部の人物、信号または標識等の物体を認識してもよく、認識した物体を追尾してもよい。情報処理装置１１は、移動体２００の各部を制御するコンピュータとして機能されてもよい。また、情報処理装置１１は、ＥＣＵ１３を制御することにより、移動体２００の全体を制御してもよい。
表示装置１２は、画像処理装置１０により生成された画像データを使用して画像および補正画像等を表示する。表示装置１２は、移動体２００が後進（バック）する際に、移動体２００の後進方向の画像をリアルタイムで表示してもよい。また、表示装置１２は、ナビゲーション装置１８から出力される画像を表示してもよい。
ＥＣＵ１３は、エンジンまたはトランスミッション等の機構部に対応してそれぞれ設けられる。各ＥＣＵ１３は、情報処理装置１１からの指示に基づいて、対応する機構部を制御する。無線通信装置１４は、移動体２００の外部の装置との通信を行う。センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体２００の現在の位置情報を取得する位置センサを含んでもよい。また、センサ１５は、移動体２００の速度を検出する速度センサを含んでもよい。
駆動装置１６は、移動体２００を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、および制動装置（ブレーキ）等が含まれてもよい。ランプ装置１７は、移動体２００に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、方向指示器（ウインカー）のランプ、バックライトおよびブレーキランプ等が含まれてもよい。ナビゲーション装置１８は、目的地への経路を音声および表示により案内する装置である。
撮像装置１９は、例えば、赤色光Ｒ、緑色光Ｇ、青色光Ｂをそれぞれ透過する複数種のフィルタを含む画素が搭載されたＱＢＣの画素配列のイメージセンサＩＭＧＳを有する。すなわち、イメージセンサＩＭＧＳは、検出する光の波長領域が異なる複数種の画素を含む。
上述したように、撮像装置１９により取得された画像データは、画像処理装置１０により処理される。例えば、画像処理装置１０は、ＱＢＣの画素配列のイメージセンサＩＭＧＳにより取得された画像データを補正（補間）し、ベイヤー配列の画像データを生成する。画像処理装置１０が実施する画像処理については、図６から図１１で説明される。
なお、撮像装置１９は、同色の複数の画素を含む画素群が他の色の画素を含む画素群を挟んで繰り返し配置される、ＱＢＣと同様の画素配列のイメージセンサを有してもよい。また、画像処理装置１０は、撮像装置１９により取得された画像データを、ベイヤー配列以外の画像データに変換してもよい。さらに、画像処理装置１０は、補正により生成した画像データを、外部または内部の記録装置に記録してもよい。
図４は、図３の画像処理装置１０および情報処理装置１１の構成の一例を示す。画像処理装置１０および情報処理装置１１の構成は、互いに同様であるため、以下では、画像処理装置１０の構成が説明される。例えば、画像処理装置１０は、バスＢＵＳで相互に接続されたＣＰＵ２０、インタフェース装置２１、ドライブ装置２２、補助記憶装置２３およびメモリ装置２４を有する。
ＣＰＵ２０は、メモリ装置２４に格納された画像処理プログラムを実行することで、後述する各種の画像処理を実施する。インタフェース装置２１は、図示しないネットワークに接続するために使用される。補助記憶装置２３は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であり、画像処理プログラム、画像データおよび画像処理に使用する各種パラメータ等を保持する。
メモリ装置２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等であり、補助記憶装置２３から転送される画像処理プログラム等を保持する。ドライブ装置２２は、記録媒体３０を接続するインタフェースを有し、例えば、ＣＰＵ２０からの指示に基づいて、記録媒体３０に格納された画像処理プログラムを補助記憶装置２３に転送する。なお、ドライブ装置２２は、補助記憶装置２３に記憶された画像データ等を記録媒体３０に転送してもよい。
図５は、図３の撮像装置１９により取得されたＱＢＣ配列の画像データをベイヤー配列の画像データに変換する例を示す。以下の説明では、赤色光Ｒを透過するフィルタを含む画素ＰＸは、Ｒ画素とも称される。緑色光Ｇを透過するフィルタを含む画素ＰＸは、Ｇ画素とも称される。青色光Ｂを透過するフィルタを含む画素ＰＸは、Ｂ画素とも称される。また、撮像装置１９により取得された画像データにおいて、Ｒ画素の画素値は、Ｒ画素値とも称され、Ｇ画素の画素値は、Ｇ画素値とも称され、Ｂ画素の画素値は、Ｂ画素値とも称される。
ＱＢＣ配列は、縦２画素、横２画素の４つのＲ画素を含むＲ画素群と、縦２画素、横２画素の４つのＧ画素をそれぞれ含む２つのＧ画素群と、縦２画素、横２画素の４つのＢ画素を含むＢ画素群とが配置された縦４画素、横４画素の１６画素の基本の配列を有する。基本の配列では、Ｒ画素群とＢ画素群とが対角位置に配置され、２つのＧ画素群が対角位置に配置される。
そして、ＱＢＣ配列では、１６画素の基本の配列が縦方向と横方向に繰り返し配置され、Ｒ画素群、Ｇ画素群およびＢ画素群がベイヤー配列状に配置される。以下では、ＱＢＣ配列の画像データは、ＱＢＣ画像とも称され、ベイヤー配列の画像データは、ベイヤー画像とも称される。
画像処理装置１０は、ＱＢＣ画像の各画素の画素値を使用して補間処理を実施することで、ベイヤー画像の各画素値を生成する。ＱＢＣ画像から変換されるベイヤー画像の出力として、フルサイズ出力とビニング出力とがある。フルサイズ出力では、ＱＢＣ画像の画素数と同じ画素数のベイヤー画像が生成される。ビニング出力では、ＱＢＣ画像の画素数が１／４に圧縮され、ベイヤー画像が生成される。
ビニング出力では、ＱＢＣ画像の各画素群が１つの画素として扱われる。ビニング出力では、４つの画素の画素値を１つの画素の画素値として出力されるため、ノイズを抑えて感度を高くすることができ、例えば、照度が低いときの解像度を向上することが可能になる。なお、ＱＢＣ画像をそのまま出力するＲＡＷ出力もフルサイズ出力である。
以下では、画像処理装置１０が、ＱＢＣ画像からフルサイズのベイヤー画像を生成する場合の処理について説明される。画像処理装置１０は、ＱＢＣ配列の画像データをベイヤー配列の画像データに変換する場合、まず、ＱＢＣ配列の画像データを使用して、画素値の変化が少ない方向を判断する方向判断を実施する。そして、画像処理装置１０は、方向判断の結果に基づいて、画素値の補間に使用する画素を決定する。
図５（ａ）に示すベイヤー配列の画像の拡大図は、画素値の補間により、所定間隔を置いて一方向に延在する複数の線の間を繋ぐ図形（アーティファクト）が発生する例を示している。図５に示すアーティファクトは、例えば、着目画素から離れた画素の画素値を使用して実施した方向判断が正しくない場合、正しくない方向判断の結果に基づいて画素値を補間する場合に発生しやすい。ＱＢＣ配列では、例えば、着目するＲ画素群の周囲に位置するＲ画素は、着目するＲ画素群から２画素以上離れている。このため、ＱＢＣ配列の画像データにおいて、同色の画素のみを使用した方向判断に基づく画素値の補正は、アーティファクトの発生原因になり得る。そこで、本実施形態では、画像処理装置１０は、例えば、着目するＲ画素群に隣接するＧ画素群のＧ画素を使用して方向判断を実施することで、方向判断の精度を向上し、画素値の補間により発生するアーティファクトを抑制する。
図６は、図３の画像処理装置１０が実施するＱＢＣ画像をベイヤー配列画像に変換する処理フローの一例を示す。すなわち、図６は、画像処理装置１０による画像処理方法の一例を示す。図６に示すフローは、例えば、画像処理装置１０のＣＰＵ２０（図４）が画像処理プログラムを実行することにより実現されてもよい。
まず、ステップＳ１０において、画像処理装置１０は、ＱＢＣ画像のＲ画素およびＢ画素の位置の画素値をＧ画素値に変換し、全ての画素がＧ画素である全Ｇ画素画像を生成する。全Ｇ画素画像の画像データは、緑画像データの一例である。ステップＳ１０は、ステップＳ１２、Ｓ１３を含む。例えば、ステップＳ１２に示す処理は、図２の方向判断部１０ｂにより実施され、ステップＳ１３に示す処理は、図２の画像変換部１０ｃにより実施される。
画像処理装置１０は、ステップＳ１２において、着目するＲ画素群に隣接するＧ画素群のＧ画素の画素値を使用して、着目するＲ画素群の中心での方向判断を実施する。また、画像処理装置１０は、着目するＢ画素群に隣接するＧ画素群のＧ画素の画素値を使用して着目するＢ画素群の方向判断を実施する。そして、画像処理装置１０は、Ｒ画素群およびＢ画素群のそれぞれの中心位置において画素値の変化が少ない方向を判断する。
Ｇ画素で検出可能な光の周波数帯域の一部は、Ｒ画素で検出可能な光の周波数帯域およびＢ画素で検出可能な光の周波数帯域のそれぞれと重複する。このため、Ｇ画素値による方向判断は、Ｒ画素値による方向判断およびＢ画素値による方向判断の両方を実施することとほぼ等価である。また、ＱＢＣの画素配列では、Ｇ画素の数は、Ｒ画素の数およびＢ画素の数の２倍である。このため、Ｇ画素値を使用して方向判断を実施することで、Ｒ画素値またはＢ画素値を使用して方向判断する場合に比べて、方向判断の精度を向上することができる。
さらに、画像処理装置１０は、各画素群の４つの画素のそれぞれについての方向判断を実施せず、画素群毎に方向判断を実施するため、計算量を抑えて効率よく各画素群の位置での方向判断を実施することができる。また、計算量が抑えられるため、画像処理装置１０の回路規模を抑えることができる。ステップＳ１２の処理の例は、図７および図８に示される。
次に、ステップＳ１３において、画像処理装置１０は、ステップＳ１２での画素群毎の方向判断の結果に基づいて、補間処理によりＲ画素群およびＢ画素群の各画素をＧ画素に置換する処理を実施する。そして、画像処理装置１０は、ＱＢＣ画像から全Ｇ画素画像を生成する。ステップＳ１３の処理の例は、図９および図１０に示される。
次に、ステップＳ２０において、画像処理装置１０は、画素値を補間後のベイヤー配列でのＲ画素の周辺に位置するＱＢＣ配列でのＲ画素（周辺Ｒ画素）と、全Ｇ画素画像において周辺Ｒ画素と同じ位置のＧ画素（周辺Ｇ画素）との比Ｒ／Ｇを算出する。また、画像処理装置１０は、画素値を補間後のベイヤー配列でのＢ画素の周辺に位置するＱＢＣ配列でのＢ画素（周辺Ｂ画素）と、全Ｇ画素画像において周辺Ｂ画素と同じ位置のＧ画素（周辺Ｇ画素）との比Ｂ／Ｇを算出する。ステップＳ２０の処理の例は、図１１に示される。ステップＳ２０の処理は、図２の画像変換部１０ｃにより実施される。
次に、ステップＳ３０において、画像処理装置１０は、ベイヤー配列での着目するＲ画素に対応する比Ｒ／Ｇに、着目するＲ画素に対応する全Ｇ画素画像のＧ画素の画素値を乗じてＲ画素の画素値を算出する。ステップＳ３０の枠内に示す式中の符号＊は、乗算符号を示す。画像処理装置１０は、ベイヤー配列での着目するＢ画素に対応する比Ｂ／Ｇに、着目するＢ画素に対応する全Ｇ画素画像のＧ画素の画素値を乗じてＢ画素の画素値を算出する。
そして、画像処理装置１０は、全Ｇ画素画像からベイヤー配列のＧ画素を取り出し、取り出したＧ画素と、算出したＲ画素およびＢ画素とを使用してベイヤー画像を生成する。ステップＳ３０の処理の例は、図１１に示される。ステップＳ３０の処理は、図２の画像変換部１０ｃにより実施される。
図６に示すように、画像処理装置１０は、ＱＢＣ画像から、ＱＢＣ画像と画素配列が異なるベイヤー画像を生成することができる。この際、画像処理装置１０は、着目する画素群の周囲のＧ画素群の画素値を使用して方向判断を実施することで、画像の変換時にアーティファクトが発生することを抑制することができる。
図７は、図６のステップＳ１２の処理の一例を示す。図７では、説明を分かりやすくするため、ＱＢＣ画像のＲ画素、Ｇ画素およびＢ画素に通し番号を付している。図７に示す例では、画像処理装置１０は、４つの方向である方向ａ、方向ｂ、方向ｃ、方向ｄでのＧ画素値の変化量を使用して、着目するＢ画素群またはＲ画素群の中心位置での方向判断を実施する。画像処理装置１０は、４つの方向ａ、ｂ、ｃ、ｄにそれぞれ沿う複数の画素対のＧ画素値の変化量を算出することで、着目する画素群における画素値の変化が少ない方向を４方向のいずれかから選択することができる。なお、図７では、着目する画素群がＢ画素群である例が示されるが、着目する画素群がＲ画素群である場合、図７のＲ画素とＢ画素とが入れ替えられる。
方向ａは図７の横方向であり、画素の配列方向の一例である。方向ｂは、図７の左下から右上への斜め方向である。方向ｃは、図７の縦方向であり、画素の配列方向の直交方向の一例である。方向ｄは、図７の左上から右下への斜め方向であり、方向ｂの直交方向の一例である。画像処理装置１０は、方向判断において、着目するＢ画素群またはＲ画素群の上下左右に隣接する８個のＧ画素の画素値を使用して、方向ａ、ｂ、ｃ、ｄの各々でのＧ画素値の変化量をそれぞれ検出する。なお、以下で説明する差は、絶対値であり、画素値の変化量を示す。
画像処理装置１０は、着目する画素群に隣接する画素の画素値を使用することで、着目する画素群内での画素値の変化量の傾向に近い画素値の変化量を使用して方向判断を実施することができる。これにより、画像処理装置１０は、着目画素から離れた画素の画素値を使用して方向判断する場合に比べて、着目する画素群の位置での方向判断の精度を向上することできる。
方向ａでは、画像処理装置１０は、画素値Ｇ２３、Ｇ２４の差ａ０、画素値Ｇ３２、Ｇ３５の差を距離３で除した差ａ１、画素値Ｇ４２、Ｇ４５の差を距離３で除した差ａ２および画素値Ｇ５３、Ｇ５４の差ａ３を算出する。画像処理装置１０は、画素対の画素間の距離に応じて重み（距離１または距離３）を変えることで、変化量の傾きを示す差ａ０、ａ１、ａ２、ａ３を算出することができる。次に、画像処理装置１０は、変化量の傾きを示す差ａ０、ａ１、ａ２、ａ３から、着目する画素群の中心位置の方向ａでの分散ｖａを算出する。
方向ｂでは、画像処理装置１０は、画素値Ｇ３２、Ｇ２３の差をルート２で除した差ｂ０および画素値Ｇ４２、Ｇ２４の差を２ルート２で除した差ｂ１を算出する。また、画像処理装置１０は、画素値Ｇ５３、Ｇ３５の差を２ルート２で除した差ｂ２および画素値Ｇ５４、Ｇ４５の差をルート２で除した差ｂ３を算出する。次に、画像処理装置１０は、変化量の傾きを示す差ｂ０、ｂ１、ｂ２、ｂ３から、着目する画素群の中心位置の方向ｂでの分散ｖｂを算出する。
方向ｃでは、画像処理装置１０は、画素値Ｇ３２、Ｇ４２の差ｃ０、画素値Ｇ２３、Ｇ５３の差を距離３で除した差ｃ１、画素値Ｇ２４、Ｇ５４の差を距離３で除した差ｃ２および画素値Ｇ３５、Ｇ４５の差ｃ３を算出する。次に、画像処理装置１０は、変化量の傾きを示す差ｃ０、ｃ１、ｃ２、ｃ３から、着目する画素群の中心位置の方向ｃでの分散ｖｃを算出する。
方向ｄでは、画像処理装置１０は、画素値Ｇ４２、Ｇ５３の差をルート２で除した差ｄ０および画素値Ｇ３２、Ｇ５４の差を２ルート２で除した差ｄ１を算出する。また、画像処理装置１０は、画素値Ｇ２３、Ｇ４５の差を２ルート２で除した差ｄ２および画素値Ｇ２４、Ｇ３５の差をルート２で除した差ｄ３を算出する。次に、画像処理装置１０は、変化量の傾きを示す差ｄ０、ｄ１、ｄ２、ｄ３から、着目する画素群の中心位置の方向ｄでの分散ｖｄを算出する。
そして、画像処理装置１０は、分散ｖａ、ｖｂ、ｖｃ、ｖｄのうち最も小さい値を検出し、検出した値に対応する方向を画素値の変化が最も少ない方向と判断する。画像処理装置１０は、分散を使用することで、画素値の変化が最も少ない方向を統計的に求めることができる。また、例えば、差ａ１、ａ２、ｂ１、ｂ２、ｃ１、ｃ２、ｄ１、ｄ２を算出する画素対の各々は、着目する画素群を跨ぐ位置に配置される。これにより、Ｇ画素値の成分がない画素群の中心位置での方向判断の精度を向上することができる。
なお、画像処理装置１０は、各方向ａ、ｂ、ｃ、ｄにおいて、画素対の画素値の差を積算し、積算した値が最も小さい方向を画素値の変化が最も少ない方向と判断してもよい。画素対の２つの画素値の差の合計値により方向を判断する場合、分散を算出する場合に比べて、計算量を削減することができる。
また、画像処理装置１０は、着目する画素群の上下左右の方向に隣接する４つの画素群の各々において、画素群内に含まれる画素対の画素値の変化量を算出し、算出結果に基づいて、画素値の変化が少ない方向を検出してもよい。すなわち、画像処理装置１０は、着目する画素群を跨がない画素対を選択してもよい。
この場合、例えば、画像処理装置１０は、方向ａにおいて、画素値Ｇ３１、Ｇ３２の変化量、画素値Ｇ４１、Ｇ４２の変化量、画素値Ｇ３５、Ｇ３６の変化量、画素値Ｇ４５、Ｇ４６の変化量を算出する。画像処理装置１０は、方向ｂにおいて、画素値Ｇ４１、Ｇ３２の変化量、画素値Ｇ４５、Ｇ３６の変化量、画素値Ｇ２３、Ｇ１４の変化量、画素値Ｇ６３、Ｇ５４の変化量を算出する。
画像処理装置１０は、方向ｃにおいて、画素値Ｇ１３、Ｇ２３の変化量、画素値Ｇ１４、Ｇ２４の変化量、画素値Ｇ５３、Ｇ６３の変化量、画素値Ｇ５４、Ｇ６４の変化量を算出する。画像処理装置１０は、方向ｄにおいて、画素値Ｇ３１、Ｇ４２の変化量、画素値Ｇ３５、Ｇ４６の変化量、画素値Ｇ１３、Ｇ２４の変化量、画素値Ｇ５３、Ｇ６４の変化量を算出する。
また、画像処理装置１０は、図７に示す方向判断に使用する画素対の画素値の変化量に加えて、４つの画素群内の含まれる画素対の画素値の変化量を使用して、方向判断を実施してもよい。
さらに、画像処理装置１０は、着目する画素群の対角方向に位置する４つの画素群の画素対の画素値の変化量を、図７に示す方向判断の処理に追加してもよい。この場合、画像処理装置１０は、着目するＢ画素群の対角方向に位置する４つのＲ画素群を方向判断に使用し、着目するＲ画素群の対角方向に位置する４つのＢ画素群を方向判断に使用する。
図８は、図６のステップＳ１２の処理の別の例を示す。図７と同様の要素および同様の処理については、詳細な説明は省略する。図８では、画像処理装置１０は、方向判断において、着目するＲ画素群またはＧ画素群の上下左右に隣接する８個のＧ画素の画素値と、さらに外側に位置する８個のＧ画素の画素値とを使用して、方向ａ、ｂ、ｃ、ｄでのＧ画素値の変化を検出する。差ａ０－ａ３、ｂ０－ｂ３、ｃ０－ｃ３、ｄ０－ｄ３は、図７と同じ手法で算出される。
方向ａでは、画像処理装置１０は、さらに、画素値Ｇ３１、Ｇ３２の差ａ４、画素値Ｇ３５、Ｇ３６の差ａ５、画素値Ｇ４１、Ｇ４２の差ａ６および画素値Ｇ４５、Ｇ４６の差ａ７を算出する。そして、画像処理装置１０は、差ａ０、ａ１、ａ２、ａ３、ａ４、ａ５、ａ６、ａ７の分散を求めることで、着目する画素群の中心位置での横方向の分散ｖａを算出する。
方向ｂでは、画像処理装置１０は、さらに、画素値Ｇ４１、Ｇ３２の差をルート２で除した差ｂ４および画素値Ｇ２３、Ｇ１４の差をルート２で除した差ｂ５を算出する。また、画像処理装置１０は、画素値Ｇ６３、Ｇ５４の差をルート２で除した差ｂ６および画素値Ｇ４５、Ｇ３６の差をルート２で除した差ｂ７を算出する。そして、画像処理装置１０は、差ｂ０、ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６、ｂ７の分散を求めることで、着目する画素群の中心位置での横方向の分散ｖｂを算出する。
方向ｃでは、画像処理装置１０は、さらに、画素値Ｇ１３、Ｇ２３の差ｃ４、画素値Ｇ５３、Ｇ６３の差ｃ５、画素値Ｇ１４、Ｇ２４の差ｃ６および画素値Ｇ５４、Ｇ６４の差ｃ７を算出する。そして、画像処理装置１０は、差ｃ０、ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６、ｃ７の分散を求めることで、着目する画素群の中心位置での横方向の分散ｖｃを算出する。
方向ｄでは、画像処理装置１０は、さらに、画素値Ｇ３１、Ｇ４２の差をルート２で除した差ｄ４および画素値Ｇ５３、Ｇ６４の差をルート２で除した差ｄ５を算出する。また、画像処理装置１０は、画素値Ｇ１３、Ｇ２４の差をルート２で除した差ｄ６および画素値Ｇ３５、Ｇ４６の差をルート２で除した差ｄ７を算出する。そして、画像処理装置１０は、差ｄ０、ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７の分散を求めることで着目する画素群の中心位置での横方向の分散ｖｄを算出する。
そして、画像処理装置１０は、図７と同様に、分散ｖａ、ｖｂ、ｖｃ、ｖｄのうち最も小さい値を検出し、検出した値に対応する方向をエッジの方向であると判断する。図８においても、画像処理装置１０は、分散を使用することで、画素値の変化が最も少ない方向を統計的に求めることができる。
図８では、画像処理装置１０は、着目する画素群に隣接する画素の画素値だけでなく、さらに外側に位置する画素の画素値を使用して方向判断を実施することで、方向判断に使用する画素対の変化量の数を増やすことができる。これにより、画像処理装置１０は、着目する画素群の位置での方向判断の精度を向上することできる。
なお、画像処理装置１０は、分散を算出することなく、各方向において、画素対の画素値の差を積算し、積算した値が小さい方向を画素値の変化が最も少ない方向と判断してもよい。この場合、分散を算出する場合に比べて、計算量を削減することができる。また、画像処理装置１０は、画素値の変化量を算出するＧ画素群の画素対の数を、図８に比べてさらに追加してもよい。この際、画像処理装置１０は、着目する画素群を跨がない画素対のみを選択してもよい。また、画像処理装置１０は、着目する画素群の対角方向に位置する４つの画素群の画素対の画素値の変化量を、図８に示す方向判断の処理に追加してもよい。
なお、図７および図８では、画像処理装置１０は、４つの方向ａ、ｂ、ｃ、ｄの各々での画素値の変化量に基づいて画素値の変化が少ない方向を求めるが、８方向または１６方向での画素値の変化量に基づいて画素値の変化が少ない方向を求めてもよい。方向数を増やすほど、計算量が増える反面、方向判断の精度を向上することができる。
図９は、図６のステップＳ１３の処理の一例を示す。画像処理装置１０は、図７または図８で判断した方向に基づいて、ＱＢＣ画像において、各Ｂ画素群の４つのＢ画素をＧ画素に置き換える処理と、各Ｒ画素群の４つのＲ画素をＧ画素に置き換える処理とを実施する。以下では、Ｂ画素群の各Ｂ画素をＧ画素に置き換える処理が説明されるが、Ｒ画素群の各Ｒ画素をＧ画素に置き換える処理も、図９内に記載した式と同じ式を使用して実施される。
画像処理装置１０は、Ｒ画素群の各Ｒ画素をＧ画素に置き換える場合、着目画素の周囲に位置するＧ画素のうち、図７または図８で判断したエッジの方向に沿うＧ画素を使用して、置き換えるＧ画素値を算出する。以下では、図９の左上に示すＢ画素群の左上のＢ画素をＧ画素（Ｇ３３）に置き換える例が説明される。
画像処理装置１０は、判断したエッジが方向ａの場合、左側に隣接する画素Ｇ３２の画素値の２倍と、右側に１画素離れた画素Ｇ３５の画素値との和を３で除した値を画素値Ｇ３３とする。画像処理装置１０は、判断したエッジが方向ｂの場合、右上に隣接する画素Ｇ２４の画素値と、左下に隣接する画素Ｇ４２の画素値との和を２で除した値を画素値Ｇ３３とする。
画像処理装置１０は、判断したエッジが方向ｃの場合、上側に隣接する画素Ｇ２３の画素値の２倍と、下側に１画素離れた画素Ｇ５３の画素値との和を３で除した値を画素値Ｇ３３とする。画像処理装置１０は、判断したエッジが方向ｄの場合、まず、左側に隣接する画素Ｇ３２の画素値と上側に隣接する画素Ｇ２３の画素値との３倍を算出する。そして、画像処理装置１０は、上記で３倍した画素値と、下側に１画素離れた画素Ｇ５３の画素値と、右下側にほぼ１画素離れた画素Ｇ４５の画素値の和を８で除した値を画素値Ｇ３３とする。
Ｂ画素群の他のＢ画素の画素値も、上述と同様にして、判断したエッジの方向に応じた式を使用してＧ画素値が算出される。Ｂ画素群の右上のＢ画素の画素値をＧ画素値（Ｇ３４）に置き換える計算は、図９の右上の式に示される。Ｂ画素群の左下のＢ画素の画素値をＧ画素値（Ｇ４３）に置き換える計算は、図９の左下の式に示される。Ｂ画素群の右下のＢ画素の画素値をＧ画素値（Ｇ４４）に置き換える計算は、図９の右下の式に示される。
図１０は、図６のステップＳ１３の処理の別の例を示す。図９と同様の処理については、詳細な説明は省略する。図１０に示す例では、画像処理装置１０は、Ｇ画素群に隣接するＧ画素だけでなく、Ｇ画素群に隣接するＧ画素のさらに１つ外側のＧ画素を使用して、Ｂ画素から置き換えるＧ画素の画素値を算出する。なお、Ｒ画素群の各Ｒ画素をＧ画素に置き換える処理も、図１０内に示す式と同じ式を使用して実施される。
以下では、左上に示すＧ画素群の左上のＢ画素をＧ画素（Ｇ３３）に置き換える例が説明される。画像処理装置１０は、判断したエッジが方向ａの場合、左側に１画素離れた画素Ｇ３１の画素値の３倍と、左側に隣接する画素Ｇ３２の画素値の８倍と、右側に１画素離れた画素Ｇ３５の画素値の７倍との和を１８で除した値を画素値Ｇ３３とする。画像処理装置１０は、判断したエッジが方向ｂの場合、右上に隣接する画素Ｇ２４の画素値と、左下に隣接する画素Ｇ４２の画素値との和を２で除した値を画素値Ｇ３３とする。
画像処理装置１０は、判断したエッジが方向ｃの場合、上側に１画素離れた画素Ｇ１３の画素値の３倍と、上側に隣接する画素Ｇ２３の画素値の８倍と、下側に１画素離れた画素Ｇ５３の画素値の７倍との和を１８で除した値を画素値Ｇ３３とする。画像処理装置１０は、判断したエッジが方向ｄの場合、図９に示した方向ｄでの式と同じ式を使用して、画素Ｇ３３を算出する。
Ｂ画素群の他のＢ画素の画素値も、上述と同様にして、判断したエッジの方向に応じた式を使用してＧ画素値が算出される。Ｂ画素群の右上のＢ画素の画素値をＧ画素値（Ｇ３４）に置き換える計算は、図１０の右上の式に示される。Ｂ画素群の左下のＢ画素の画素値をＧ画素値（Ｇ４３）に置き換える計算は、図１０の左下の式に示される。Ｂ画素群の右下のＢ画素の画素値をＧ画素値（Ｇ４４）に置き換える計算は、図１０の右下の式に示される。
図９および図１０では、画像処理装置１０は、ＱＢＣ画像において、Ｂ画素群またはＲ画素群に隣接するＧ画素群の画素値を使用して、Ｂ画素またはＲ画素から置き換えるＧ画素の画素値を算出する。このため、画像処理装置１０は、Ｂ画素群またはＲ画素群に隣接しないＧ画素群の画素値を使用して、Ｂ画素またはＲ画素から置き換えるＧ画素値を算出する場合に比べて、Ｇ画素値を精度よく算出することができる。また、画像処理装置１０は、ＱＢＣ画像において、Ｂ画素群およびＲ画素群の各画素をＧ画素に変換し、ＱＢＣ画像のＧ画素については変換しない。このため、全Ｇ画素画像を生成するための計算量の増加を抑制することができる。
図１１は、図６のステップＳ２０、Ｓ３０の処理の一例を示す。図１１に示すステップＳ２０では、ＱＢＣ画像において、太い破線枠で示す縦５画素、横５画素の２５画素を使用して、２５画素の中央のベイヤー配列での画素Ｒ３３の比Ｒ／Ｇを算出する例が示される。ここで、ＱＢＣ画像の画素Ｂ３３は、ベイヤー配列では画素Ｒ３３に変換される。
ステップＳ２０において、画像処理装置１０は、ＱＢＣ画像の２５画素のうち、補間により生成する画素Ｒ３３と同色の画素Ｒ１１、Ｒ１２、Ｒ１５、Ｒ２１、Ｒ２２、Ｒ２５、Ｒ５１、Ｒ５２、Ｒ５５の画素値を加算し、和ＳｕｍＲ３３を算出する。画素Ｒ３３は、変換画素の一例である。また、画像処理装置１０は、全Ｇ画素画像において、画素値を加算したＲ画素と同じ位置にある画素Ｇ１１、Ｇ１２、Ｇ１５、Ｇ２１、Ｇ２２、Ｇ２５、Ｇ５１、Ｇ５２、Ｇ５５の画素値を加算し、和ＳｕｍＧ３３を算出する。次に、画像処理装置１０は、和ＳｕｍＲ３３を和ＳｕｍＧ３３で除することで比Ｒ／Ｇを算出する。
そして、画像処理装置１０は、ステップＳ３０において、ステップＳ２０で算出した画素Ｒ３３の比Ｒ／Ｇに、全Ｇ画素画像において、対応する画素位置の画素値Ｇ３３を乗じることで、画素Ｒ３３の画素値を算出する。なお、画像処理装置１０は、２５画素の位置をずらして、ステップＳ２０を実施し、和ＳｕｍＲと和ＳｕｍＧとを算出し、比Ｒ／Ｇを算出する。そして、画像処理装置１０は、ステップＳ３０を実施し、比Ｒ／Ｇに対応するＧ画素の画素値を乗じることで、ベイヤー配列でのＲ画素の画素値を算出する。
画像処理装置１０は、図１１に示す処理を、ベイヤー配列においてＲ画素になるＱＢＣ画像の画素だけでなく、ベイヤー配列においてＢ画素になるＱＢＣ画像の画素に対しても実施する。この場合、画像処理装置１０は、ＱＢＣ画像の２５画素のうち、補間するＢ画素と同色の画素の画素値を加算し、和ＳｕｍＢを算出する。そして、画像処理装置１０は、ベイヤー配列においてＢ画素になるＱＢＣ画像の画素毎に、比Ｂ／Ｇを算出する。
なお、画像処理装置１０は、和ＳｕｍＲおよび和ＳｕｍＢを算出する場合、着目画素からの距離に応じて画素値を重み付けしてもよい。この場合、画像処理装置１０は、着目画素に近いほど重みを大きく設定する。
例えば、２５画素のうち、補間する画素Ｒ３３と同色の画素の画素値に基づいて画素Ｒ３３を補間する場合、補間する着目画素の位置により、２５画素中の同色の画素数が異なり、着目画素との距離が異なる。これにより、補間する着目画素の位置に応じて画素値の解像度が変化し、色むらが発生するおそれがある。これに対して、ステップＳ２０による補間方法では、Ｒ画素値およびＢ画素値より解像度が高いＧ画素値に基づいて生成された画素値が均一な全Ｇ画素画像を利用することで、ベイヤー配列に変換後の画像の色むらの発生を抑制することができる。
なお、画像処理装置１０は、例えば、画素の位置がＱＢＣ画像とベイヤー画像とで同じＲ画素およびＢ画素についても、ステップＳ２０の手法を使用して、画素値を補間することが好ましい。これにより、補間する画素の画素値と補間しない画素の画素値との間での画素値がばらつく問題を解決することができる。
以上、この実施形態では、Ｒ画素群、Ｇ画素群およびＢ画素群が繰り返し配置されるＱＢＣ配列等の画像データにおいて、画素値の変化が少ない方向を適切に判断することができる。
画像処理装置１０は、着目する画素群に隣接する画素の画素値を使用することで、着目する画素群内での画素値の変化量の傾向に近い画素値の変化量を使用して方向判断を実施することができる。これにより、画像処理装置１０は、着目画素から離れた画素の画素値を使用して方向判断する場合に比べて、着目する画素群の位置での方向判断の精度を向上することできる。
画像処理装置１０は、着目する画素群に隣接する画素の画素値だけでなく、さらに外側に位置する画素の画素値を使用して方向判断を実施することで、方向判断に使用する画素対の変化量の数を増やすことができる。これにより、画像処理装置１０は、着目する画素群の位置での方向判断の精度を向上することできる。
画像処理装置１０は、着目する画素群を跨ぐ位置に配置される画素対の画素値の差に基づいて方向を判断するため、Ｇ画素値の成分がない画素群の中心位置での方向判断の精度を向上することができる。また、画像処理装置１０は、着目する画素群の中心位置において画素値の変化が少ない方向を判断するため、計算量を抑えて効率よく各画素群の位置での方向判断を実施することができる。計算量が抑えられるため、画像処理装置１０の回路規模を抑えることができる。
画像処理装置１０は、画素対の２つの画素値の差を積算し、積算した値が小さい方向を画素値の変化が最も少ない方向と判断することで、分散から方向判断する場合に比べて、計算量を削減することができる。なお、画像処理装置１０は、分散を使用して方向判断することで、画素値の変化が最も少ない方向を統計的に求めることができる。
画像処理装置１０は、縦方向、横方向および２つの斜め方向にそれぞれ沿う複数の画素対の画素値の変化量を算出することで、着目する画素群の位置における画素値の変化が少ない方向を４方向のいずれかから選択することができる。
画像処理装置１０は、ＱＢＣ画像から、ＱＢＣ画像と画素配列が異なるベイヤー画像を生成することができる。この際、画像処理装置１０は、着目する画素群の周囲のＧ画素群の画素値を使用して方向判断を実施することで、画像の変換時にアーティファクトが発生することを抑制することができる。
画像処理装置１０は、ＱＢＣ画像においてＲ画素およびＢ画素より数が多いＧ画素の画素値を使用して方向判断することで、Ｒ画素値またはＢ画素値を使用して方向判断する場合に比べて、方向判断の精度を向上することができる。
方向判断の結果に基づくＧ画素値の補間処理により全Ｇ画素画像を生成することで、補間処理により生成されるＧ画素値の精度を向上することができる。精度の高いＧ画素値により比Ｒ／Ｇおよび比Ｂ／Ｇを使用してＲ画素値およびＢ画素値を算出することで、アーティファクトの発生を抑制して、ＱＢＣ画像からベイヤー画像を生成することができる。また、画像処理装置１０は、Ｒ画素値およびＢ画素値より解像度が高いＧ画素値に基づいて生成された画素値が均一な全Ｇ画素画像を利用することで、ベイヤー配列に変換後の画像の色むらの発生を抑制することができる。
（第２の実施形態）
図１２は、第２の実施形態における画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理フローの一例を示す。すなわち、図１２は、画像処理装置による画像処理方法の一例を示す。図６と同様の処理については、詳細な説明は省略する。
図１２に示すフローを実施する画像処理装置１０は、図１から図４に示す画像処理装置１０と同様であり、情報処理装置１１および表示装置１２とともに画像処理システム１００に搭載される。図１２に示すフローは、例えば、図３の画像処理装置１０のＣＰＵ２０（図４）が画像処理プログラムを実行することにより実現されてもよい。
なお、図１２に示すフローは、画像処理装置１０に搭載されるＦＰＧＡまたはＡＳＩＣ等のハードウェアにより実現されてもよい。あるいは、図１２に示すフローは、ハードウェアとソフトウェアとを協働させることで実現されてもよい。
画像処理システム１００は、例えば、自動車、搬送ロボットまたはドローン等の移動体２００に搭載される。なお、画像処理システム１００は、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの撮像装置から取得した画像を処理するシステムであってもよい。
まず、ステップＳ１１において、画像処理装置１０は、ＱＢＣ画像の各画素を、全ての画素がＧｒａｙ画素である全ｇｒａｙ画素画像データを生成する。全ｇｒａｙ画素画像データは、混合画像データの一例である。ここで、Ｇｒａｙ画素の画素値は、画素Ｒ、画素Ｇ、画素Ｂの画素値を混合することで生成され、グレー色に対応する。ステップＳ１１は、ステップＳ１２、Ｓ１３、Ｓ１４、Ｓ１５、Ｓ１６を含む。ステップＳ１２、Ｓ１３は、それぞれ図６のステップＳ１２、Ｓ１３と同様である。すなわち、画像処理装置１０は、ステップＳ１２、Ｓ１３の処理により、全Ｇ画素画像を生成する。
画像処理装置１０は、ステップＳ１４において、ＱＢＣ画像を使用して、着目する画素位置の周辺のＲ画素を使用して補間処理を実施し、着目する画素位置の画素をＲ画素に置換する。そして、画像処理装置１０は、ＱＢＣ画像から全ての画素がＲ画素である全Ｒ画素画像を生成する。全Ｒ画素画像の画像データは、赤画像データの一例である。ステップＳ１４の処理の例は、図１３に示される。
画像処理装置１０は、ステップＳ１５において、ＱＢＣ画像を使用して、着目する画素位置の周辺のＢ画素を使用して補間処理を実施し、着目する画素位置の画素をＢ画素に置換する。そして、画像処理装置１０は、ＱＢＣ画像から全ての画素がＢ画素である全Ｂ画素画像を生成する。全Ｂ画素画像の画像データは、青画像データの一例である。ステップＳ１５の処理の例は、図１４に示される。
次に、ステップＳ１６において、画像処理装置１０は、各画素位置において、全Ｇ画素画像の画素値と、全Ｒ画素画像の画素値と、全Ｂ画素画像の画素値とを所定の比率で混合し、全Ｇｒａｙ画素画像を生成する。
次に、ステップＳ２２において、画像処理装置１０は、ベイヤー配列での着目するＲ画素の位置の周辺のＲ画素（周辺Ｒ画素）と、全Ｇｒａｙ画素画像において周辺Ｒ画素と同じ位置のＧｒａｙ画素（周辺Ｇｒａｙ画素）との比Ｒ／Ｇｒａｙを算出する。また、画像処理装置１０は、ベイヤー配列での着目するＢ画素の位置の周辺のＢ画素（周辺Ｂ画素）と、全Ｇｒａｙ画素画像において周辺Ｂ画素と同じ位置のＧｒａｙ画素（周辺Ｇｒａｙ画素）との比Ｂ／Ｇｒａｙを算出する。
さらに、画像処理装置１０は、ベイヤー配列での着目するＧ画素の周辺に位置するＧ画素（周辺Ｇ画素）と、全Ｇｒａｙ画素画像において周辺Ｇ画素と同じ位置のＧｒａｙ画素（周辺Ｇｒａｙ画素）との比Ｇ／Ｇｒａｙを算出する。画像処理装置１０は、ステップＳ２２の処理を図１１に示したステップＳ２０処理と同様に実施する。
次に、ステップＳ３２において、画像処理装置１０は、ベイヤー配列での着目するＲ画素に対応する比Ｒ／Ｇｒａｙに、着目するＲ画素に対応する全Ｇｒａｙ画素画像のＧｒａｙ画素を乗じてＲ画素を算出する。画像処理装置１０は、ベイヤー配列での着目するＢ画素に対応する比Ｂ／Ｇｒａｙに、着目するＢ画素に対応する全Ｇｒａｙ画素画像のＧｒａｙ画素を乗じてＢ画素を算出する。さらに、画像処理装置１０は、ベイヤー配列での着目するＧ画素に対応する比Ｇ／Ｇｒａｙに、着目するＧ画素に対応する全Ｇｒａｙ画素画像のＧｒａｙ画素を乗じてＧ画素を算出する。そして、画像処理装置１０は、算出したＲ画素、Ｂ画素、Ｇ画素によりベイヤー画像を生成する。画像処理装置１０は、ステップＳ３２の処理を図１１に示したステップＳ３０処理と同様に実施する。
図１３は、図１２のステップＳ１４の処理の一例を示す。図１３では、ＱＢＣ画像の縦６画素、横６画素の３６画素が例として示されるが、画像処理装置１０は、ＱＢＣ画像の全画素を使用して全Ｒ画素画像を生成する。
ステップＳ１４において、画像処理装置１０は、縦３画素、横３画素の９画素を補間に使用する画素とし、９画素の位置を１画素ずつずらしながらＲ画素の補間処理を実施する。画像処理装置１０は、各９画素において、中心に一番近いＲ画素を９画素の中心のＲ画素とすることで、全Ｒ画素画像を生成する。例えば、画像処理装置１０は、図１３の右側に示す１６通りの９画素の各々において、太枠で示すＲ画素の画素値を、９画素の中心のＲ画素の画素値に設定する。
図１４は、図１２のステップＳ１５、Ｓ１６の処理の一例を示す。図１３と同様の処理については、詳細な説明は省略する。ステップＳ１５において、画像処理装置１０は、９画素の位置を１画素ずつずらしながら、各９画素において、中心に一番近いＢ画素を９画素の中心のＢ画素とすることで、全Ｂ画素画像を生成する。例えば、画像処理装置１０は、図１４の右側に示す１６通りの９画素の各々において、太枠で示すＢ画素の画素値を、９画素の中心のＢ画素の画素値に設定する。
次に、ステップＳ１６において、画像処理装置１０は、各画素位置において、全Ｇ画素画像、全Ｒ画素画像および全Ｂ画素画像を使用して、全Ｇｒａｙ画素画像を生成する。例えば、画像処理装置１０は、全Ｇ画素画像の各画素値に重みＧｗを乗じ、全Ｒ画素画像の各画素値に重みＲｗを乗じ、全Ｂ画素画像の各画素値に重みＢｗを乗じる。
例えば、重みの総計が１．０になるように、重みＧｗは、０．８に設定され、重みＲ、Ｂは、それぞれ０．１に設定される。なお、重みＧｗ、Ｒｗ、Ｂｗの値は、上記に限定されないが、Ｇ画素値の成分は、緑色の成分だけでなく赤色の成分と青色の成分とを含むため、重みＧｗは、重みＲｗ、Ｂｗより大きく設定されることが好ましい。そして、画像処理装置１０は、画素の位置毎にＧ画素、Ｒ画素およびＢ画素の乗算結果を加算することで、全Ｇｒａｙ画素画像を生成する。
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。例えば、Ｒ画素群、Ｇ画素群およびＢ画素群が繰り返し配置されるＱＢＣ配列等の画像データにおいて、画素値の変化が少ない方向を適切に判断することができる。そして、方向判断の結果に基づくＧ画素値の補間処理により全Ｇ画素画像を生成することで、補間処理により生成されるＧ画素値の精度を向上することができる。
さらに、この実施形態では、画像処理装置１０は、全Ｇ画素画像と全Ｒ画素画像と全Ｂ画素画像とから全Ｇｒａｙ画素画像を生成し、全Ｇｒａｙ画素画像から比Ｒ／Ｇｒａｙ、比Ｂ／Ｇｒａｙ、比Ｇ／Ｇｒａｙを算出する。そして、画像処理装置１０は、比Ｒ／Ｇｒａｙ、比Ｂ／Ｇｒａｙ、比Ｇ／Ｇｒａｙのそれぞれに各画素の画素値を乗じることで、ベイヤー画像を生成する。全Ｇｒａｙ画素画像を使用することで、例えば、Ｇ画素値が小さいＱＢＣ画像においても、アーティファクトの発生を抑制して、ＱＢＣ画像からベイヤー画像を生成することができる。
（第３の実施形態）
図１５は、第３の実施形態における画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理フローの一例を示す。すなわち、図１５は、画像処理装置による画像処理方法の一例を示す。図６と同様の処理については、詳細な説明は省略する。
図１５に示すフローを実施する画像処理装置１０は、図１から図４に示す画像処理装置１０と同様であり、情報処理装置１１および表示装置１２とともに画像処理システム１００に搭載される。図１５に示すフローは、例えば、図３の画像処理装置１０のＣＰＵ２０が画像処理プログラムを実行することにより実現されてもよい。
図１５に示す処理フローは、図６の処理フローにステップＳ４０が追加されることを除き、図６に示す処理フローと同様である。画像処理装置１０は、ステップＳ３０を実施する前に、ステップＳ４０において、全Ｇ画素画像に対してフィルタ処理を実施する。例えば、画像処理装置１０は、フィルタ処理としてノイズ除去処理またはエッジ強調処理等を実施し、ノイズが少ない全Ｇ画素画像または解像度が高い全Ｇ画素画像を生成してもよい。これにより、画像処理装置１０は、ノイズが少ないベイヤー画像または解像度が高いベイヤー画像を生成することができる。
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、フィルタ処理された全Ｇ画素画像の画素値を使用して、Ｒ画素値およびＢ画素値を算出することで、ノイズが少ないベイヤー画像または解像度が高いベイヤー画像をＱＢＣ画像から生成することができる。
（第４の実施形態）
図１６は、第４の実施形態における画像処理装置が実施するＱＢＣ画像をベイヤー配列画像に変換する処理の一例を示す。すなわち、図１６は、画像処理装置による画像処理方法の一例を示す。図１２と同様の処理については、詳細な説明は省略する。
図１６に示すフローを実施する画像処理装置１０は、図１から図４に示す画像処理装置１０と同様であり、情報処理装置１１および表示装置１２とともに画像処理システム１００に搭載される。図１６に示すフローは、例えば、図３の画像処理装置１０のＣＰＵ２０が画像処理プログラムを実行することにより実現されてもよい。
図１６に示す処理フローは、図１２の処理フローにステップＳ４１が追加されることを除き、図１２に示す処理フローと同様である。画像処理装置１０は、ステップＳ３２を実施する前に、ステップＳ４１において、全Ｇｒａｙ画素画像に対してフィルタ処理を実施する。例えば、画像処理装置１０は、フィルタ処理としてノイズ除去処理またはエッジ強調処理等を実施し、ノイズが少ない全Ｇｒａｙ画素画像または解像度が高い全Ｇｒａｙ画素画像を生成してもよい。これにより、画像処理装置１０は、ノイズが少ないベイヤー画像または解像度が高いベイヤー画像を生成することができる。
以上、この実施形態においても上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、フィルタ処理された全Ｇｒａｙ画素画像の画素値を使用して、Ｒ画素値、Ｂ画素値、Ｇ画素値を算出することで、ノイズが少ないベイヤー画像または解像度が高いベイヤー画像をＱＢＣ画像から生成することができる。
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
１０ 画像処理装置
１０ａ 取得部
１０ｂ 方向判断部
１０ｃ 画像変換部
１１ 情報処理装置
１２ 表示装置
１３ ＥＣＵ
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
１９（１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅ） 撮像装置
２０ ＣＰＵ
２１ インタフェース装置
２２ ドライブ装置
２３ 補助記憶装置
２４ メモリ装置
３０ 記録媒体
１００ 画像処理システム
２００ 移動体
ＢＵＳ バス
ＩＭＧＳ イメージセンサ
ＰＸ 画素

Claims (12)

  1. 複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置から画像データを取得する取得部と、
    着目する画素群の周囲に配置され、前記着目する画素群の色と異なる複数の他の画素群に含まれる少なくとも１つの画素対の画素値の変化量に基づいて、前記着目する画素群の位置における画素値の変化が少ない方向を判断する方向判断部と、
    を有する画像処理装置。
  2. 前記方向判断部は、前記複数の他の画素群の画素のうち、前記着目する画素群に隣接する画素の画素値を使用して画素値の変化が少ない方向を判断する
    請求項１に記載の画像処理装置。
  3. 前記方向判断部は、さらに、前記複数の他の画素群の画素のうち、前記着目する画素群に隣接する画素の隣の画素の画素値を使用して、画素値の変化が少ない方向を判断する
    請求項２に記載の画像処理装置。
  4. 前記方向の判断に使用する前記画素対の少なくともいずれかは、前記着目する画素群を跨ぐ位置に配置される
    請求項１または請求項２に記載の画像処理装置。
  5. 前記方向判断部は、複数の方向毎に、方向に沿って位置する複数の前記画素対の画素値の差を積算し、積算した値が小さい方向を画素値の変化が少ない方向と判断する
    請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
  6. 前記方向判断部は、複数の方向毎に、方向に沿って位置する複数の前記画素対の画素値の変化量の傾きの分散を算出し、算出した分散が小さい方向を画素値の変化が少ない方向と判断する
    請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
  7. 前記複数の方向は、画素の配列方向、前記配列方向の直交方向、前記配列方向の斜め方向および前記斜め方向の直交方向を含む
    請求項５または請求項６に記載の画像処理装置。
  8. 前記方向判断部が判断した方向に基づいて、前記着目する画素群の画素の少なくともいずれかを、他の色の画素の画素値に置き換えることで、前記撮像装置により取得された画像データを前記撮像装置の画素配列と異なる画素配列の画像データに変換する画像変換部を有する
    請求項１ないし請求項７のいずれか１項に記載の画像処理装置。
  9. 前記画像変換部は、前記撮像装置により取得されるＱＢＣ配列の画像データをベイヤー配列の画像データに変換する
    請求項８に記載の画像処理装置。
  10. 前記方向判断部は、着目する赤の画素群または着目する青の画素群の周囲に位置する緑の画素群に含まれる少なくとも１つの画素対の画素値の変化量に基づいて、着目する赤の画素群または着目する青の画素群の位置における画素値の変化が少ない方向を判断する
    請求項９に記載の画像処理装置。
  11. 前記方向判断部は、ＱＢＣ配列の画像データにおいて、着目する赤の画素群または着目する青の画素群の周囲に配置される複数の緑の画素群の画素値に基づいて、前記着目する赤の画素群の位置または前記着目する青の画素群の位置での画素値の変化が少ない方向を判断する
    請求項９または請求項１０に記載の画像処理装置。
  12. 複数の画素を各々含む複数色の画素群が繰り返し配置された撮像装置から画像データを取得する取得処理と、
    着目する画素群の周囲に配置され、前記着目する画素群の色と異なる複数の他の画素群に含まれる少なくとも１つの画素対の画素値の変化量に基づいて、前記着目する画素群の位置における画素値の変化が少ない方向を判断する方向判断処理と、
    を実施する画像処理方法。
JP2021114088A 2021-07-09 2021-07-09 画像処理装置および画像処理方法 Pending JP2023010159A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021114088A JP2023010159A (ja) 2021-07-09 2021-07-09 画像処理装置および画像処理方法
US17/858,578 US20230009861A1 (en) 2021-07-09 2022-07-06 Image processing device and method of image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021114088A JP2023010159A (ja) 2021-07-09 2021-07-09 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2023010159A true JP2023010159A (ja) 2023-01-20

Family

ID=84798910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021114088A Pending JP2023010159A (ja) 2021-07-09 2021-07-09 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US20230009861A1 (ja)
JP (1) JP2023010159A (ja)

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181376B1 (en) * 1997-10-14 2001-01-30 Intel Corporation Method of determining missing color values for pixels in a color filter array
CN1213615C (zh) * 2001-02-06 2005-08-03 皇家菲利浦电子有限公司 用于内插象素的丢失色彩值的方法和设备
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
KR100811965B1 (ko) * 2003-12-22 2008-03-10 미쓰비시덴키 가부시키가이샤 화소 신호 처리 장치 및 화소 신호 처리 방법
US8165389B2 (en) * 2004-03-15 2012-04-24 Microsoft Corp. Adaptive interpolation with artifact reduction of images
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP4378341B2 (ja) * 2005-12-26 2009-12-02 キヤノン株式会社 撮像装置及び補正方法
US8270713B2 (en) * 2007-10-16 2012-09-18 Aptina Imaging Corporation Method and apparatus providing hardware-efficient demosaicing of image data
JP2009194776A (ja) * 2008-02-15 2009-08-27 Fujitsu Microelectronics Ltd ノイズフィルタ
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
RU2496253C1 (ru) * 2009-07-21 2013-10-20 Кэнон Кабусики Кайся Устройство обработки изображения и способ обработки изображения для корректировки хроматической аберрации
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
JP6046927B2 (ja) * 2011-08-09 2016-12-21 キヤノン株式会社 画像処理装置及びその制御方法
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
TWI492621B (zh) * 2012-02-10 2015-07-11 Novatek Microelectronics Corp 適應性影像處理方法及其相關裝置
JP6012375B2 (ja) * 2012-09-28 2016-10-25 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
JP6239358B2 (ja) * 2013-12-02 2017-11-29 株式会社メガチップス 画素補間装置、撮像装置、プログラムおよび集積回路
JP6276569B2 (ja) * 2013-12-02 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP6276580B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
CN105993169B (zh) * 2014-09-15 2019-07-26 深圳市大疆创新科技有限公司 用于图像去马赛克的***及方法
US9369681B1 (en) * 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
JP6622481B2 (ja) * 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US9582853B1 (en) * 2015-08-03 2017-02-28 Intel Corporation Method and system of demosaicing bayer-type image data for image processing
US9578207B1 (en) * 2015-09-30 2017-02-21 Csr Imaging Us, Lp Systems and methods for selectively screening image data
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN109005392B (zh) * 2017-06-07 2021-01-12 联发科技股份有限公司 一种去马赛克方法及其电路
JP7182907B2 (ja) * 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ
JP6953297B2 (ja) * 2017-12-08 2021-10-27 キヤノン株式会社 撮像装置及び撮像システム
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
TWI785193B (zh) * 2018-02-09 2022-12-01 日商索尼半導體解決方案公司 圖像處理裝置、圖像處理方法、及攝像裝置
US10923516B2 (en) * 2018-03-22 2021-02-16 Ricoh Company, Ltd. Image capturing device, image capturing method, image processing device, image processing method, and storage medium
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10750135B2 (en) * 2018-10-19 2020-08-18 Qualcomm Incorporated Hardware-friendly model-based filtering system for image restoration
US10853913B2 (en) * 2019-03-11 2020-12-01 Qualcomm Incorporated Color filter array pattern conversion
TWI703872B (zh) * 2019-05-15 2020-09-01 瑞昱半導體股份有限公司 影像色彩還原與增強電路
WO2021131859A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置および画像処理方法
US11399160B2 (en) * 2020-05-29 2022-07-26 Samsung Electronics Co., Ltd. Image sensor down-up sampling using a compressed guide
US20210390747A1 (en) * 2020-06-12 2021-12-16 Qualcomm Incorporated Image fusion for image capture and processing systems
KR20220000761A (ko) * 2020-06-26 2022-01-04 삼성전자주식회사 이미지 센서 및 이미지 센서의 비닝 방법
KR20220063575A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
JP2022188888A (ja) * 2021-06-10 2022-12-22 株式会社ソシオネクスト 画像処理装置および画像処理方法
US11589035B1 (en) * 2022-01-18 2023-02-21 Apple Inc. Dynamic defect detection and correction for quadra image sensors

Also Published As

Publication number Publication date
US20230009861A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
JP2931520B2 (ja) 単板式カラービデオカメラの色分離回路
JP5767485B2 (ja) 画像処理装置及び制御方法
CN110365961B (zh) 图像去马赛克装置及方法
JP4803156B2 (ja) 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
US9319647B2 (en) Image processing device
CN108171657B (zh) 图像插值方法及装置
JP2009246963A (ja) 画像処理装置、画像処理方法、およびプログラム
US8610801B2 (en) Image processing apparatus including chromatic aberration correcting circuit and image processing method
JP2011137697A (ja) 照明装置及び該照明装置を用いた計測システム
JP2009077274A (ja) 画像処理装置、画像処理方法、及び撮像装置
WO2012066999A1 (ja) 車載カメラの変位量検出装置
TWI338511B (ja)
CN102224524A (zh) 图像处理装置以及图像处理方法
JP2012222374A (ja) 車載カメラシステム
JP2001119705A (ja) カラー撮像装置
US11991459B2 (en) Image processing device and method of image processing
CN113068011A (zh) 图像传感器、图像处理方法及***
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
JP2002232904A (ja) 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
JP2023010159A (ja) 画像処理装置および画像処理方法
JP2002112276A (ja) カラー固体撮像装置
US10715740B2 (en) Image processing device, drive supporting system, and image processing method
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
JP2002223452A (ja) 画像補間装置
WO2022215234A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240614