JP5803402B2 - 画像処理装置、撮像装置、撮像システム、及びデータ処理方法 - Google Patents
画像処理装置、撮像装置、撮像システム、及びデータ処理方法 Download PDFInfo
- Publication number
- JP5803402B2 JP5803402B2 JP2011173232A JP2011173232A JP5803402B2 JP 5803402 B2 JP5803402 B2 JP 5803402B2 JP 2011173232 A JP2011173232 A JP 2011173232A JP 2011173232 A JP2011173232 A JP 2011173232A JP 5803402 B2 JP5803402 B2 JP 5803402B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- unit
- data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 127
- 238000012545 processing Methods 0.000 title claims description 42
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims description 154
- 229920006395 saturated elastomer Polymers 0.000 claims description 35
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 22
- 238000003786 synthesis reaction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 73
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 239000002131 composite material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
図1に示すように、このシステムは、撮像装置11と記録装置12を有している。このシステムは、例えば車両に搭載され、撮像装置11は、車両前方を撮像するように車両に搭載されている。撮像装置11は、撮像した画像データGDを出力する。記録装置12は、撮像装置11から出力される画像データGDを記録する。
(第一実施形態)
図2に示すように、撮像装置11のレンズ21は、被写体を撮影するための被写体像を撮像部22の受光面に結像する。撮像部22は、所定配列(例えばベイヤ配列)のカラーフィルタと、光電変換部を含む複数の画素を備えた撮像素子を備える。撮像素子としては、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどが用いられる。
図5(a)に示すように、1つのフレームの撮像データSFは、複数の画素データSGを含む。図5(a)において、左右方向に配列された画素データSGは、撮像素子の第1の方向(例えば水平方向)に配列された複数の受光部に対応し、図5(a)において上下方向に配列された画素データSGは、撮像素子の第1の方向と直交する第2の方向(例えば垂直方向)に配列された複数の受光部に対応する。各画素データSGは、対応する受光部がそれぞれ受ける光の量に応じた値(画素値)を含む。撮像素子の受光部は、所定配列(例えばベイヤ配列)のカラーフィルタを透過した光を受光する。従って、各画素データSGに含まれる画素値は、対応するカラーフィルタの配列及び色に応じた色情報を含む。
図4に示すように、抽出部25は、信号色設定部31、信号色判定部32、無彩色・飽和判定部33、判定出力部34を含む。
信号色判定部32(第1の判定部)は、信号色設定部31に格納された信号色領域情報を読み出す。信号色判定部32は、入力画素データに含まれる色情報のうち、色差Cb,Crの値(色差値)と、各発光部101〜103の色値との差分の絶対値を算出する。そして、信号色判定部32は、算出した絶対値としきい値とを比較し、絶対値がしきい値以下であれば、入力画素が対応する領域に含まれると判定する。そして、信号色判定部32は、判定結果に基づいて、入力画素が含まれる色領域を示すコード[信号色コード]を出力する。また、信号色判定部32は、入力画素が上記の素子領域121の何れにも含まれない場合、これを示すコード[非色コード]を出力する。
判定出力部34は、信号色判定部32と無彩色・飽和判定部33から出力されるコードと、1つ前の画素に対する判定結果に基づいて、画素が交通信号機100の各発光部101〜103に対応する領域[発光部領域]に含まれるか否かを判定する。発光部領域は、発光部色の画素を含む領域、つまり図8に示すように、素子領域121、飽和領域122、無彩色領域123を含む。そして、発光部領域の外側は、非発光部色の画素を含む。
信号色判定部32から信号色コードが出力されるとき、判定出力部34は入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。また、判定出力部34は、入力画素に対応する信号色コードと入力画素の座標値をレジスタ43に格納する。そして、判定出力部34は、カウンタ41,42を初期化する。この初期化において、判定出力部34は、各カウンタ41,42のカウント値を「1」にセットする。
信号色判定部32から信号色コードが出力されるか、又は無彩色・飽和判定部33から飽和色コード又は無彩色コードが出力されるとき、判定出力部34は、入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。そして、判定出力部34は、画素数カウンタ41のカウント値をカウントアップする。また、判定出力部34は、信号色判定部32から信号色コードが出力されるとき、信号色カウンタ42のカウント値をカウントアップする。
即ち、ステートST1において、入力画素を非発光部領域に含まれると判定している。条件T1(1つ前の画素が非発光部領域であり、次の入力画素の色が信号色)を満足する場合、ステートST2に遷移する。このとき、入力画素の色を発光部信号色としてレジスタ43に格納する。また、カウンタ41,42を初期化する。次に、ステートST2において、条件T2(入力画素の色が、レジスタ43に格納した発光部信号色と無彩色と飽和色の何れか)を満足する場合、画素数カウンタ41のカウント値を更新する。更に、入力画素の色が発光部信号色の場合、信号色カウンタ42のカウント値を更新する。ステートST2において、条件T3(入力画素の色が、レジスタ43に格納した発光部信号色と無彩色と飽和色の何れでもない)を満足する場合、妥当性判定を行い、ステートST1に遷移する。次に、ステートST1において、条件T4(入力画素の色が信号色以外)を満足する場合、ステートST1に遷移する。
今、図9に示すように、画素G1〜G12が順次入力される。例えば、画素G3,G6,G7,G9は信号色、画素G4,G5は無彩色、画素G8は飽和色、画素G1,G2,G10〜G12は、それら以外の色である。
例えば、図11に示すように、1映像記録周期において、3つのフレームFa,Fb,Fcがデモザイク部24から出力される。
(1)撮像部22は、記録装置12の1映像記録周期に複数(例えば3つ)のフレームFa,Fb,Fcを出力する。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。
次に、撮像装置の第二実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して図面と説明の一部またはすべてを省略する。
判定出力部34aは、画素のデータを出力する毎に、書き込みアドレス(ライトアドレス)WAをメモリ26aに出力し、ライトアドレスWAをインクリメントする。メモリ26aは、ライトアドレスWAに対応する領域に、画素データを記憶する。ライトアドレスWAのインクリメントは、次の画素の画素データを格納するアドレスを設定するものである。従って、判定出力部34aは、インクリメントは、ライトアドレスWAに対してメモリ26aに格納する画素データのデータ量に応じた値を加算し、次の画素データを格納するライトアドレスWAを設定する。
判定出力部34aは、図14に示す連続する複数の画素について、発光部領域か否かを判定する。図14において、ハッチングを付した丸は発光部領域と推定した画素を示し、ハッチングを付していない丸は発光部領域ではないと判定した画素を示す。
(1)抽出部25aは、発光部領域に対する推定が妥当であると判定した場合、ライトアドレスを、次の発光部領域の先頭アドレスとして記憶する。これにより、抽出部25aは、次に推定した発光部領域に含まれる画素のデータを、メモリ26aに格納する準備を行う。
次に、撮像装置の第三実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
(1)デモザイク部24bはRGB形式の画像データを出力する。抽出部25bは、RGB形式のフレームFa,Fbから発光部領域を抽出し、合成部27bはRGB形式のフレームFcに、メモリ26から読み出した画素を合成する。このように、RGB形式のデータのフレームを処理することができる。RGB形式は、YCbCr形式のデータと比べ、色の解像度の低下が少ない。また、信号色領域の判定においてYCbCr形式のデータよりも正確な判定が期待される。
次に、撮像装置の第四実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
図20に示すように、ベイヤ結合部35は、ライン分の画素のデータを記憶するラインメモリ51と、入力画素と、ラインメモリ51から出力される画素とを結合して合成画素CGを生成する結合部52を有している。例えば、ラインメモリ51は、1つのフレームにおける奇数番目のラインの画素のデータを記憶する。結合部52は、偶数番目のラインにおける2つの入力画素と、ラインメモリ51から出力される2つの画素とを結合して1つの合成画素CGを生成する。そして、結合部52は、生成した合成画素CGを出力する。
(1)抽出部25cは、4つの画素を結合した合成画素に基づいて、発光部領域を推定する。従って、抽出部25cが推定する画素数は、例えば第一実施形態と比べ、1/4となる。従って、発光部領域の判定回数が少なくなるため、高速処理に適している。また、処理に必要なメモリ26のメモリ量を小さくできる。
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記各実施形態において、YCbCr形式の画像データに替えてRGB形式の画像データを出力するようにしてもよい。また、RGB形式の画像データに替えてYCbCr形式の画像データを出力するようにしてもよい。また、YUV形式等の他の形式の画像データを出力するようにしてもよい。
例えば、図22に示す撮像装置11dはCPU29を含む。このCPU29は、メモリ26から読み出した部分画像データについて、各画素の座標値と画素データに基づいて、抽出された画素が、交通信号機に対応するものか否かを判定する。例えば、交通信号機の発光部に対応する部分画像データの場合、垂直方向(画像の上下方向であって、入力画素の配列方向(ライン方向)と直交する方向)に隣接する発光部領域が推定される。従って、CPU29は、隣接する複数の発光部領域を妥当と判定し、例えば1ラインのように孤立した発光部領域を妥当ではないと判定する。そして、CPU29は、判定結果に応じた選択信号SLを出力する。合成部27dは、CPU29から出力される選択信号SLに応答して、個々の抽出された画素データについて、合成するか否かを選択する。なお、CPU29は、メモリ26に格納された画素データの妥当性を判定する判定手段の一例である。このようにCPU29(判定手段)を有することで、さらに精度の高い判定を行うことができる。なお、この図22に示すCPU29と合成部27dを、上記の各実施形態に応じて適用してもよい。
Z=(Cb−Cb’)2+(Cr−Cr’)2
を演算し、演算結果Zに基づいて画素の色が信号色か否かを判定するようにしてもよい。
また、信号色か否かを判定するしきい値を、発光部毎に設定するようにしてもよい。
例えば、車両に搭載された撮像装置、いわゆるドライブレコーダの場合、交通信号機は撮影されたフレーム画像の上部に交通信号機100が含まれている。従って、図24(a)に示すように、フレームの上部に対して抽出対象領域61を設定し、その抽出対象領域61内の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。また、図24(b)に示すように、抽出除外領域62を設定し、その抽出除外領域62外の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。各領域61,62は、例えば、制御装置(CPU)により設定される。このように領域61,62を設定することで、例えば、入力画素の座標値に従って、信号色判定部等の処理をキャンセルする。これにより、抽出部に含まれる信号色判定部等が動作する回数を、領域を設定しない場合と比べて少なくすることで、撮像装置の消費電力を低減することができる。また、抽出対象領域61外の画素や、抽出除外領域62内の画素を発光部領域として誤って抽出することがなくなるため、メモリ26の容量を少なくすることができる。
・上記実施形態では、3つのフレームから1つの合成フレームを生成するようにしたが、2つのフレームから1つの合成フレームを生成する、又は4つ以上のフレームから1つの合成フレームを生成するようにしてもよい。
・上記各実施形態は、車両に搭載されるシステム(所謂ドライブレコーダ)としたが、街路等に設置される監視カメラ、等に具体化してもよい。
(付記1)
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
(付記2)
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第1の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第2の判定部と、
前記第1の判定部から出力されるコードと前記第2の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする付記1に記載の画像処理装置。
(付記3)
前記判定出力部は、
m(mは2以上の整数)番目の画素の色が前記設定色に対応し、(m−1)番目の画素の色が前記設定色以外の色の場合に前記m番目の画素を抽出対象領域の先頭と推定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を前記抽出対象領域に含むと判定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする付記2に記載の画像処理装置。
(付記4)
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第1のカウンタと、
前記設定色と等しい色の画素をカウントする第2のカウンタと、
を有し、
前記第1のカウンタのカウント値と前記第2のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする付記2又は3に記載の画像処理装置。
(付記5)
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする付記1,2,3又は4に記載の画像処理装置。
(付記6)
前記判定出力部は、
前記m番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記(m−1)番目の画素が前記非対象領域の場合に、前記m番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする付記3,4又は5に記載の画像処理装置。
(付記7)
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記m番目の画素の画素値を前記記憶部に格納し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記m番目の画素を非対象領域と判定する、
ことを特徴とする付記3,4,5又は6に記載の画像処理装置。
(付記8)
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する1つの色情報を含み、
各画素について、不足する色方法を、周辺の画素の色情報に基づいて生成して複数の色情報を含む画素値を生成するデモザイク部を有し、
前記抽出部と前記合成部は、前記デモザイク部から出力される画素の画素値に基づいてそれぞれ対応する処理を実行する、
ことを特徴とする付記3,4,5,6又は7に記載の画像処理装置。
(付記9)
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する1つの色情報を含み、
前記抽出部は、
異なる色情報を含む複数の画素を結合して1つの合成画素を生成する結合部を含み、
前記合成画素の色に基づいて推定した前記抽出対象領域の合成画素の画素値を前記記憶部に格納し、
前記合成部は、1つの色情報を含む前記画素に対し、前記記憶部から読み出した前記合成画素に含まれ前記画素の色に対応する色成分と、前記画素の色情報を合成する、
ことを特著とする付記3,4,5,6,7又は8に記載の画像処理装置。
(付記10)
前記判定出力部は、
前記画素値とともに前記画素値を書き込むライトアドレスを前記記憶部に出力し、
前記m番目の画素を前記抽出対象領域の先頭と推定した場合に、前記記憶部に前記画素値を書き込むライトアドレス領域先頭アドレスとしてレジスタに記憶し、
前記抽出対象領域が妥当ではないと判定した場合に前記レジスタから読み出した前記領域先頭アドレスを前記ライトアドレスに設定する、
ことを特著とする付記3,4,5,6,7,8又は9に記載の画像処理装置。
(付記11)
1映像記録周期内に第1〜第N(Nは2以上の整数)フレームの撮像データを出力する撮像部と、
前記第1〜第(N−1)フレームの撮像データから設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像装置。
(付記12)
映像記録周期毎に1つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像システム。
(付記13)
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームの撮像データから1つの出力フレームを生成するデータ処理方法であって、
撮像部から1映像記録周期内に出力される第1〜第Nフレームのうち、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
25 抽出部
26 メモリ
27 合成部
Fa〜Fc フレーム
Fd 出力フレーム
Claims (10)
- 撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記部分画像データを、前記第Nフレームの撮像データに合成する、
ことを特徴とする画像処理装置。 - 前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第1の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第2の判定部と、
前記第1の判定部から出力されるコードと前記第2の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記判定出力部は、
m(mは2以上の整数)番目の画素の色が前記設定色に対応し、(m−1)番目の画素の色が前記設定色以外の色の場合に前記m番目の画素を抽出対象領域の先頭と推定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を前記抽出対象領域に含むと判定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記判定出力部は、
前記m番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記(m−1)番目の画素が前記非対象領域の場合に、前記m番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする請求項3に記載の画像処理装置。 - 前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記m番目の画素の画素値を前記記憶部に格納し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記m番目の画素を非対象領域と判定する、
ことを特徴とする請求項3又は4に記載の画像処理装置。 - 前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第1のカウンタと、
前記設定色と等しい色の画素をカウントする第2のカウンタと、
を有し、
前記第1のカウンタのカウント値と前記第2のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする請求項2〜5のいずれか一項に記載の画像処理装置。 - 前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。 - 1映像記録周期内に第1〜第N(Nは2以上の整数)フレームの撮像データを出力する撮像部と、
前記第1〜第(N−1)フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記部分画像データを、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像装置。 - 映像記録周期毎に1つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記部分画像データを、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像システム。 - 撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームの撮像データから1つの出力フレームを生成するデータ処理方法であって、
撮像部から1映像記録周期内に出力される第1〜第Nフレームのうち、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて点滅駆動される被写体に対応する設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011173232A JP5803402B2 (ja) | 2011-08-08 | 2011-08-08 | 画像処理装置、撮像装置、撮像システム、及びデータ処理方法 |
US13/568,404 US9105089B2 (en) | 2011-08-08 | 2012-08-07 | Image processor, image pickup apparatus, image pickup system and data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011173232A JP5803402B2 (ja) | 2011-08-08 | 2011-08-08 | 画像処理装置、撮像装置、撮像システム、及びデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013038600A JP2013038600A (ja) | 2013-02-21 |
JP5803402B2 true JP5803402B2 (ja) | 2015-11-04 |
Family
ID=47677309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011173232A Active JP5803402B2 (ja) | 2011-08-08 | 2011-08-08 | 画像処理装置、撮像装置、撮像システム、及びデータ処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9105089B2 (ja) |
JP (1) | JP5803402B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012221159A1 (de) * | 2012-11-20 | 2014-05-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen |
DE102013204935A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts |
JP5883833B2 (ja) * | 2013-08-05 | 2016-03-15 | 富士重工業株式会社 | 車外環境認識装置 |
MX350751B (es) * | 2014-03-10 | 2017-09-18 | Nissan Motor | Dispositivo de detección de semáforo y metodo de detección de semáforo. |
JP6233501B2 (ja) * | 2014-03-10 | 2017-11-22 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
KR102233391B1 (ko) * | 2014-06-16 | 2021-03-29 | 팅크웨어(주) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 |
US9305224B1 (en) * | 2014-09-29 | 2016-04-05 | Yuan Ze University | Method for instant recognition of traffic lights countdown image |
US9844115B2 (en) * | 2015-07-14 | 2017-12-12 | Lighting Science Group Corporation | Systems and methods for optimizing power and control of a multicolored lighting system |
JP6790752B2 (ja) * | 2015-11-20 | 2020-11-25 | 株式会社リコー | 画像読取装置、画像形成装置および画像読取方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100930043B1 (ko) * | 2002-11-23 | 2009-12-08 | 삼성전자주식회사 | 스크롤링 텍스트나 그래픽 데이터를 검출할 수 있는움직임 추정장치 및 방법 |
JP2005301518A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 信号機検出装置および信号機検出方法 |
JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP4962132B2 (ja) | 2007-05-16 | 2012-06-27 | 株式会社日立製作所 | 撮像装置 |
JP2009015759A (ja) * | 2007-07-09 | 2009-01-22 | Honda Motor Co Ltd | 信号機認識装置 |
JP2009278496A (ja) * | 2008-05-16 | 2009-11-26 | Victor Co Of Japan Ltd | 撮像装置 |
-
2011
- 2011-08-08 JP JP2011173232A patent/JP5803402B2/ja active Active
-
2012
- 2012-08-07 US US13/568,404 patent/US9105089B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20130038754A1 (en) | 2013-02-14 |
JP2013038600A (ja) | 2013-02-21 |
US9105089B2 (en) | 2015-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5803402B2 (ja) | 画像処理装置、撮像装置、撮像システム、及びデータ処理方法 | |
US11722784B2 (en) | Imaging device that generates multiple-exposure image data | |
JP5566133B2 (ja) | フレームレート変換処理装置 | |
CN108012078B (zh) | 图像亮度处理方法、装置、存储介质和电子设备 | |
JP4565504B2 (ja) | 画像合成装置 | |
JP6197771B2 (ja) | 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム | |
US20170111562A1 (en) | Imaging Device, Method for Controlling Imaging Device, and Control Program | |
WO2015098151A1 (ja) | 撮像装置、撮像装置の制御方法及び制御プログラム | |
JP4752459B2 (ja) | 撮像装置 | |
US11683596B2 (en) | Image capture apparatus, electronic apparatus, and chroma suppression program | |
JP6598797B2 (ja) | 撮像装置の駆動方法、信号処理方法 | |
JP2009218689A (ja) | 測光装置、及び撮像装置 | |
JP2010213105A (ja) | 撮像装置 | |
JP2015177258A (ja) | 画像入力装置 | |
JP5692446B1 (ja) | 撮像装置、撮像装置の制御方法及び制御プログラム | |
JP2018191053A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP5630132B2 (ja) | 撮像装置 | |
JP2008270983A (ja) | 手ぶれ補正装置及び手ぶれ補正方法 | |
JP2007201866A (ja) | 映像監視装置 | |
JP5655969B1 (ja) | 撮像装置、撮像装置の制御方法及び制御プログラム | |
JP6435904B2 (ja) | 出力装置、出力制御方法、及びプログラム | |
US10778893B2 (en) | Detection device, display device and detection method | |
JP2018050346A (ja) | 撮像装置 | |
JP6330704B2 (ja) | 撮像装置、撮像装置の制御方法及び制御プログラム | |
JP5105306B2 (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150408 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5803402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |