JPWO2014192487A1 - 多眼撮像システム、取得画像の合成処理方法、及びプログラム - Google Patents
多眼撮像システム、取得画像の合成処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2014192487A1 JPWO2014192487A1 JP2015519751A JP2015519751A JPWO2014192487A1 JP WO2014192487 A1 JPWO2014192487 A1 JP WO2014192487A1 JP 2015519751 A JP2015519751 A JP 2015519751A JP 2015519751 A JP2015519751 A JP 2015519751A JP WO2014192487 A1 JPWO2014192487 A1 JP WO2014192487A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- unit
- similar
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
独立配置された多数の撮像素子から画像合成技術により基準画像を高機能化する。多眼撮像システムとして、独立配置可能に構成された複数の撮像部と、複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得すると共に、基準画像内に含まれていた要素毎に参照画像内に含まれていた類似要素を探索処理する類似要素探索部と、基準画像に含まれていた少なくとも１つの要素について、類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する画像合成部とを設ける。
Description
本発明は、画像処理技術に関し、詳しくは、複数の撮像素子から得られた画像を用いて所望の画像出力を得る多眼撮像システム、画像合成処理方法、及びプログラムに関する。
昨今、デジタル撮像技術の進展と共に、より高性能な撮像機器の研究が成されている。撮像技術で今後も求められる要求は、より綺麗に映像を記録することにある。
一般的なデジタルカメラやデジタルビデオカメラでは、ＣＭＯＳやＣＣＤなどの撮像素子を用いて、人間の視点で映し出すように、静止画ファイルや動画ファイルを作成している。これらの機器では、今後も画像解像度の向上が図られると考えられる。
一方、デジタル撮像技術に関して、映像と共に画像から機能的情報を収集する研究が成されている。例示すれば、３Ｄ映像を合成するための２画像を２眼カメラから紐付けて、フォーカス対象までの視差を取得する技術が挙げられる。また、視差の有効な再現方法についても研究が成されている。
過去に成されている様々な研究では、カメラ用レンズの複眼化、複数台カメラ映像の統合、単眼カメラ映像の連続撮像、などが画像取得過程で行われ、その後、人間により良く見せるために、取得された画像を画像処理している。
これらに関連するデジタル撮像技術を幾つか例示すれば以下の文献が挙げられる。
特許文献１には、所定間隔で離されて固定されている２つの同一撮像素子から視差を算定する画像処理技術が記載されている。
特許文献２には、複数の撮像素子から取得された画像から複数の中間的な画像を合成すると共に、合成した複数の中間的な画像内から画像群中に含まれていた定常性に基づいた合成画像を求めることにより、撮像素子の中間視点となる仮想映像を生成する画像処理技術が記載されている。
特許文献３には、被写体を映し出す単眼カメラにより、時間が異なる複数画像を取得すると共に、複数画像に混ざり込むノイズを他の時間の画像を参照することで取り除く画像処理技術が記載されている。
特許文献４には、被写体を映し出す単眼カメラにより、時間と露出量が異なる複数画像を取得すると共に、露出量が異なる複数の画像の露出レベルを揃えて比較処理すると共に被写体をより良く捉えた映像を参照して、所望のＨＤＲ画像を生成する画像処理技術が記載されている。
特許文献５には、被写体を映し出す単眼全周囲カメラにより、時間が異なる複数の全周囲画像を取得して個々に画像補正を加えると共に、個々の画像間に存在する差を参照して超解像度処理を実施して解像度を高めた映像を得る画像処理技術が記載されている。
特許文献６には、所定間隔で離されて固定されている２つの同一撮像素子からなるサブカメラユニットから視差を算定すると共に、算定された視差に基づき撮像対象までの距離を算定して、メインカメラの焦点合わせ処理を実施する技術が記載されている。
このように、各文献では、様々な用途に合わせて、単眼もしくは複眼化した映像を撮像（データ化）すると共に、所望画像に適するように画像処理を行う技術が開示されている。また、複数の画像から得た対象までの距離情報を参照して、撮像条件を変更することが記載されている。
一般的なデジタルカメラやデジタルビデオカメラでは、ＣＭＯＳやＣＣＤなどの撮像素子を用いて、人間の視点で映し出すように、静止画ファイルや動画ファイルを作成している。これらの機器では、今後も画像解像度の向上が図られると考えられる。
一方、デジタル撮像技術に関して、映像と共に画像から機能的情報を収集する研究が成されている。例示すれば、３Ｄ映像を合成するための２画像を２眼カメラから紐付けて、フォーカス対象までの視差を取得する技術が挙げられる。また、視差の有効な再現方法についても研究が成されている。
過去に成されている様々な研究では、カメラ用レンズの複眼化、複数台カメラ映像の統合、単眼カメラ映像の連続撮像、などが画像取得過程で行われ、その後、人間により良く見せるために、取得された画像を画像処理している。
これらに関連するデジタル撮像技術を幾つか例示すれば以下の文献が挙げられる。
特許文献１には、所定間隔で離されて固定されている２つの同一撮像素子から視差を算定する画像処理技術が記載されている。
特許文献２には、複数の撮像素子から取得された画像から複数の中間的な画像を合成すると共に、合成した複数の中間的な画像内から画像群中に含まれていた定常性に基づいた合成画像を求めることにより、撮像素子の中間視点となる仮想映像を生成する画像処理技術が記載されている。
特許文献３には、被写体を映し出す単眼カメラにより、時間が異なる複数画像を取得すると共に、複数画像に混ざり込むノイズを他の時間の画像を参照することで取り除く画像処理技術が記載されている。
特許文献４には、被写体を映し出す単眼カメラにより、時間と露出量が異なる複数画像を取得すると共に、露出量が異なる複数の画像の露出レベルを揃えて比較処理すると共に被写体をより良く捉えた映像を参照して、所望のＨＤＲ画像を生成する画像処理技術が記載されている。
特許文献５には、被写体を映し出す単眼全周囲カメラにより、時間が異なる複数の全周囲画像を取得して個々に画像補正を加えると共に、個々の画像間に存在する差を参照して超解像度処理を実施して解像度を高めた映像を得る画像処理技術が記載されている。
特許文献６には、所定間隔で離されて固定されている２つの同一撮像素子からなるサブカメラユニットから視差を算定すると共に、算定された視差に基づき撮像対象までの距離を算定して、メインカメラの焦点合わせ処理を実施する技術が記載されている。
このように、各文献では、様々な用途に合わせて、単眼もしくは複眼化した映像を撮像（データ化）すると共に、所望画像に適するように画像処理を行う技術が開示されている。また、複数の画像から得た対象までの距離情報を参照して、撮像条件を変更することが記載されている。
上記したように、デジタル撮像技術の発展の為に様々なアプローチが取られている。その中で、複数の撮像素子から得られた画像を用いて所望の画像出力を得るアプローチが今後も有益に働くと考えられる。利点を例示すれば、単眼カメラで異なる時間（フレーム）の映像を用いる技術よりもより良い機能映像を合成するための様々な情報を得やすい点を挙げられる。
しかしながら、複数の撮像素子から得られた画像を画像処理する技術には、幾つかの問題がある。
一つの問題を例示すれば、異なる撮像素子から取得されるため、撮像素子の有する違い（撮像位置間、撮像タイミング間、性能間、設定間などの違い）を補正や補完して、同一状態に近づける処理が必要となる。多くの先行技術では、同一の素子を予め決められた位置に精度良く固定することや、製造時や使用時に位置較正を図ることで、複数の素子間の関係を明確化にした後に、その複数素子から得られた複数画像について所要な画像合成処理に付している。
換言すれば、撮像素子間の較正を実施した後に、その複数の撮像素子で所望の画像を取得して、画像合成処理に付している。このような画像合成処理では一般的に、取得する画像や動画を高解像度や高レートにするなどの機能性をより高めることに従って、より精確な補正が求められる。
他の問題を例示すれば、異なる撮像素子から取得された複数画像の画像合成に当たり、個々のカメラの撮影位置（座標や角度など）と複数の対象との位置関係（距離や光源など）が複数存在していることが、問題として挙げられる。既存技術では、対象被写体を１のみに固定したり、被写体距離を同等距離のみに限定したり、所定空間内のみを撮影範囲とすることで、上記問題を生じにくくしている。これらの制限は撮影の制限として様々な不便を生じさせている。
また、複眼レンズと単一撮像素子のセットを用いれば、素子間の違いを補正する必要性を大きく削減できる。他方で、撮像素子の大型化や、撮像素子内の精度（内側と外側での感度差など）、個々のレンズの焦点調整など、欠点が現時点でも多く例示できる。
本発明の目的は、複数の撮像素子を用いて所要な画像合成を実施する際に、各画像に存在した画像要素から画像補強を実行することにより基準画像をより機能的画像に変換する多眼撮像システムを提供することにある。
しかしながら、複数の撮像素子から得られた画像を画像処理する技術には、幾つかの問題がある。
一つの問題を例示すれば、異なる撮像素子から取得されるため、撮像素子の有する違い（撮像位置間、撮像タイミング間、性能間、設定間などの違い）を補正や補完して、同一状態に近づける処理が必要となる。多くの先行技術では、同一の素子を予め決められた位置に精度良く固定することや、製造時や使用時に位置較正を図ることで、複数の素子間の関係を明確化にした後に、その複数素子から得られた複数画像について所要な画像合成処理に付している。
換言すれば、撮像素子間の較正を実施した後に、その複数の撮像素子で所望の画像を取得して、画像合成処理に付している。このような画像合成処理では一般的に、取得する画像や動画を高解像度や高レートにするなどの機能性をより高めることに従って、より精確な補正が求められる。
他の問題を例示すれば、異なる撮像素子から取得された複数画像の画像合成に当たり、個々のカメラの撮影位置（座標や角度など）と複数の対象との位置関係（距離や光源など）が複数存在していることが、問題として挙げられる。既存技術では、対象被写体を１のみに固定したり、被写体距離を同等距離のみに限定したり、所定空間内のみを撮影範囲とすることで、上記問題を生じにくくしている。これらの制限は撮影の制限として様々な不便を生じさせている。
また、複眼レンズと単一撮像素子のセットを用いれば、素子間の違いを補正する必要性を大きく削減できる。他方で、撮像素子の大型化や、撮像素子内の精度（内側と外側での感度差など）、個々のレンズの焦点調整など、欠点が現時点でも多く例示できる。
本発明の目的は、複数の撮像素子を用いて所要な画像合成を実施する際に、各画像に存在した画像要素から画像補強を実行することにより基準画像をより機能的画像に変換する多眼撮像システムを提供することにある。
本発明に係る多眼撮像システムは、独立配置可能に構成された複数の撮像部と、前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得すると共に、前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理する類似要素探索部と、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する画像合成部と、を含み成ることを特徴とする。
本発明によれば、複数の撮像素子を用いて所要な画像合成を実施する際に、各画像に存在した画像要素から画像補強を実行することにより基準画像をより機能的画像に変換する多眼撮像システムを提供できる。
図１は、第１の実施形態に係る多眼撮像システムを示す構成図である。
図２は、第１の実施形態に係る多眼撮像システムで行われる処理動作を示したフローチャートである。
図３は、処理動作の説明に用いるカメラ群から得られる画像群を例示した説明図である。
図４は、処理動作のアルゴリズムの概念を示した説明図である。
図５は、第２の実施形態に係る多眼撮像システムを示す構成図である。
図６は、第３の実施形態に係る多眼撮像システムを示す構成図である。
図７は、他の実施形態に係る多眼撮像システムを示す構成図である。
図８は、他の実施形態に係る多眼撮像システムを示す構成図である。
図９は、他の実施形態に係る多眼撮像システムを示す構成図である。
図２は、第１の実施形態に係る多眼撮像システムで行われる処理動作を示したフローチャートである。
図３は、処理動作の説明に用いるカメラ群から得られる画像群を例示した説明図である。
図４は、処理動作のアルゴリズムの概念を示した説明図である。
図５は、第２の実施形態に係る多眼撮像システムを示す構成図である。
図６は、第３の実施形態に係る多眼撮像システムを示す構成図である。
図７は、他の実施形態に係る多眼撮像システムを示す構成図である。
図８は、他の実施形態に係る多眼撮像システムを示す構成図である。
図９は、他の実施形態に係る多眼撮像システムを示す構成図である。
本発明の実施形態を図面を参照して説明する。
［第１の実施形態］
図１は、第１の実施形態にかかる多眼撮像システム１を示す構成図である。
多眼撮像システム１は、カメラ群１０と、カメラ群１０から取得された複数の画像に所望の画像処理を実行する画像処理部２０とを含み構成されている。なお、撮像に係る入力部（操作パネルなど）や出力部（表示部やコンポジット用インタフェースなど）は、説明を省略する。
カメラ群１０は、個々に撮像素子を備えた撮像手段であり、様々な撮像手段を所望する画像に合わせて選択すればよい。カメラ群１０に属する各カメラは、概ね同様な方向に向けて独立配置される。上記先行技術のような厳密なカメラ間の位置補整を行なう必要はない。カメラ群１０には、基準カメラ１００と参照カメラ１１０、１２０が含まれる。基準カメラ１００と参照カメラ１１０、１２０は、それぞれ基準画像と参照画像とを出力する。例えば、映像として描写される幾つかの対象について個々に緻密に表面温度を測った動画像をリアルタイムで取得する場合には、動画カメラと赤外線カメラを用いればよい。また、単眼の撮像素子で実現できない高解像度動画を所望する際に、解像度の高い動画カメラに一ないし複数のサブカメラを組み合わせることで超解像度映像を取得する構成としてもよい。また、図示するように基準カメラ１００から出力された画像（基準画像）をそのまま標準映像として出力してもよい。また、個々のカメラは絞りや角度などを画像処理部２０側から操作される構成でもよい。カメラ群に属するカメラ装置を例示すれば、動画像カメラ、静止画像カメラ、赤外線カメラ、暗視カメラ、高感度モノクロカメラなどが挙げられる。また、音カメラや放射線量カメラなどの計測センサ機器と組み合わされたカメラでも良い。各カメラ群は、カメラ間の位置補整を行なう必要はなく、独立配置される。この際、上記したように同様な方向にカメラを向ける必要性は必ずしもなく、同様な撮影空間内に望む映像に合わせて適宜カメラ向きを設定すればよい。またカメラ間の配置関係が撮像中に変化するような撮影でも本発明によれば有益な映像を撮影し得る。
画像処理部２０は、類似要素探索部２１０と画像合成部２２０とを含む。
類似要素探索部２１０は、以下の処理を行うように構成されている。類似要素探索部２１０は、カメラ群１０から出力された複数の画像を受け付けて、基準画像とする任意の画像内に含まれていた各要素を抽出処理するとともに、各要素に関連する基準要素情報を一時記憶する。基準要素情報は、個々の要素に対する、基準画像中の位置座標や形状、大きさなどを含む。例えば、抽出する要素にあたる矩形パッチであれば、基準画像中のパッチ範囲を座標値で記録される。また、上記抽出処理と共に物体認識を行なった場合には、基準要素情報として識別対象名や物体形状を含ませればよい。また、温度分布認識や画像パターン認識を行なった場合にはその特徴を所望する画像合成に合わせて基準要素情報に含ませればよい。
また、類似要素探索部２１０は、他の画像（参照画像）内に含まれていた各要素を抽出処理するとともに、各要素に関連する参照要素情報を一時記憶する。参照要素情報は、個々の要素に対する、参照画像中の位置座標や形状、大きさ、物体認識を行なった場合には識別対象名や物体形状、温度分布認識や画像パターン認識を行なった場合にはその特徴などを所望する画像合成に合わせて含ませればよい。参照要素情報は、必ずしも基準要素情報と同一方式で収集する必要はなく、撮像映像に合わせて取得することが望ましい。また、基準要素情報を踏まえて、参照要素情報を収集することとしてもよい。また、参照画像中から同一範囲を含む複数の要素を抽出してもよい。
次に、類似要素探索部２１０は、基準画像から抽出した各要素と参照画像から抽出した各要素とが対応（同一又は類似した要素と見做）するか、基準画像に含まれていた要素毎に、参照画像内に含まれていた要素との類似性を算定して、類似要素を対応付ける探索処理を実施して、適宜探索結果を出力する。この探索結果には、基準画像に含まれていた要素に対応すると判定された参照画像内から抽出された要素部分の画像も含まれる。なお、類似要素探索部２１０で行なう類似要素の探索処理は、適宜リアルタイム処理で行うことが望ましく、後に事例を挙げて詳説する。
画像合成部２２０は、基準画像と探索結果とを受け付けて、基準画像に含まれていた個々の要素について、類似要素探索部２１０で対応付けられた類似要素を情報源として映像の加工を実施すると共に、加工した個々の要素映像を合成処理して、出力合成映像を生成するように構成される。なお、基準画像に含まれていた個々の要素の加工には、１ないし複数の類似要素を複数のパッチとして用いた画像高解像度技術で高解像度に加工したり、必要に応じて要素の周囲部分を所定量加えて加工する処理構成としても良い。また、全体画像中での要素の大きさや形状などを判別した情報や指定された情報に基づいて、加工を行なわない（基準画像をスルーする）要素を判別する処理構成を加えても良い。また、個々の要素について、加工前映像と加工後映像とを比較して、個々の加工後映像を用いるか否かを判別する処理構成を加えても良い。また、個々の要素の加工後映像の加工度合い（変化度合い）を比較して、個々の加工後映像を用いるか否かを判別する処理構成を加えても良い。
このような構成によって、各カメラの位置関係や時間関係、同期関係が不定的な関係で取得された複数の画像から所望な映像を得るための画像合成を行なえる。このことによって、例えば、様々な種類の様々なアングルの複数台のカメラを用いて、基準画像を取得するカメラファインダー越しに撮影できる範囲について、所望の機能的映像を合成加工して得られる。また、画像処理部２０内で取得された複数の画像の合成処理を並列的に異なる処理に付することで、合成加工方式が異なる複数パターンの機能的映像を同時に出力させることも可能となる。
［画像処理フロー］
次に、画像処理部２０で実施される処理動作について説明する。
図２では、合成映像を得る際に画像処理部２０内で行われる画像処理フローを示している。
画像処理部２０は、カメラ群１０から基準画像と共に参照画像を取得する（Ｓ１００１）。取得された基準画像は、類似要素探索部２１０と画像合成部２２０に入力される。また、参照画像は、類似要素探索部２１０に入力される。
次に、類似要素探索部２１０では、基準画像と参照画像とからそれぞれ要素が抽出処理される（Ｓ１００２）。この処理では、基準画像と参照画像とで非同期で並列的に行えばよい。また、基準画像から抽出した要素に対応させて参照画像から要素を抽出するように構成してもよい。また、この時点で基準画像のフレームレート等に揃えるように、各参照画像を基準画像に同期したタイミングで要素の抽出を行うように構成してもよい。
次に、類似要素探索部２１０では、基準画像内に含まれていた要素毎に参照画像内に含まれていた類似した要素を類似要素として探索処理され、探索結果が画像合成部２２０に出力される（Ｓ１００３）。この探索結果には、類似要素と類似関係が基準画像内に含まれていた要素毎に関連付けられて含まれる。この処理は逐次リアルタイム処理で高速に実行されることが望ましい。
画像合成部２２０では、基準画像と探索結果を受け付けて、基準画像内の各要素に対する類似要素を識別され、個々の要素毎に類似要素を用いた画像加工が実施され、加工された要素が基準画像上に合成（置換）された合成映像が出力される（Ｓ１００４）。画像合成部２２０は、要素毎に同時並列処理を実行可能とするために、処理系統を並列化された構成を有することが望ましい。
上記処理動作が行なわれることによって、複数の撮像素子を介して取得された各画像から、基準画像に存在した対象が描写された部分について画像補強を実行され、基準画像をより機能的画像に変換した合成画像が得られる。
ここで、要素抽出処理を説明する。
［要素抽出処理例］
基準画像及び参照画像からそれぞれ抽出される要素には、例えば矩形のパッチを用いることができる。また、特定物体認識や一般物体認識を画像毎に実施して抽出できた対象（該当範囲）を１ないし複数の要素として用いることもできる。なお、物体認識処理は、パッチ抽出処理と共に実行されることが望ましい。
個々のパッチの取得方法は任意である。例えば、画像内全てを所定解像度範囲ごとに等分割してパッチ群を抽出してもよいし、所定条件を満たすパッチ抽出処理を実行してパッチ群を抽出してもよい。所定条件に寄るパッチ抽出処理は、例えば明暗や色彩の変化点を中心点とした所定範囲や、画像内の鋭角や曲率の変化点を捉えた所定範囲、画像内の所定探索対象（例えば、顔のＴラインや、ほうれい線、人物、動体、など）を探索処理後に該範囲を複数分割した所定範囲をパッチに加工すればよい。これらの条件は、システムの用途毎に適宜さだめれば良い。なお、所定探索対象の探索は、１つの撮像素子から得られた画像から時系列変化を参照する技術や人物を探索する技術などを適宜利用すれば特定できる。
基準画像から抽出したパッチ（群）と参照画像から抽出したパッチ（群）との類似判定は、画素毎の色もしくは明るさの２乗和を非類似度とするＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）を用いることができる。ＳＳＤの値は、値が小さいほど２つのパッチが類似していることを示す。なお、他の手法を用いても構わないし、ＳＳＤと他の手法を組み合わせて用いることとしても構わない。また、各手法を用いて類似度を計算する際に、パッチの大きさにもよるものの、パッチ内の中心に対する画素距離に重みを付けることで類似判定の精度を高められる。例えば、ＳＳＤを計算させる際に、パッチの中心からの距離に反比例する重みを付けるとパッチの微小な変動に強くなる。また、比較するパッチ単位で明度の絶対値を合わせたり、比較前にエッジを強調した重みを付けたり、して精度を高める処理動作を付与しても良い。
なお、これらの処理に先立ち、基準画像及び／又は参照画像について、プレフィルタを通過させてもよい。プレフィルタ部は、類似要素探索部２１０内に設けてもよいし、参照カメラ１１０、１２０と類似要素探索部２１０との間に設け、パッチ抽出前の画像又は類似度判定の前に、参照画像もしくは参照画像から抽出されたパッチに対して、ハイパスフィルタ，エッジ抽出，輝度に基づく二値化，Ｎ値化などを行い、類似要素探索を補助する。このプレフィルタ部を通過させて加工された参照パッチを得ることにより、類似要素探索処理を高精度化が図れ、また高速化や低負荷化も図れる。
画像の特徴解析による物体認識処理を単独利用若しくは組み合わせた場合（例えば任意対象の特定物体認識と簡易な一般物体認識とを用いる場合）では、抽出できた対象（要素）について属性が取得できる。基準画像から取得された要素（抽出された対象）の属性と、参照画像から取得された要素（抽出された対象）の属性とに基づいて、一致確率を求めて、要素の一致／不一致を判定できる。なお、参照画像から取得された要素（群）を画像合成時に参照する際に、必ずしも一致判定を得た要素のみに限定して参照する必要は無く、類似性が高い別物体（別個体）と判定された不一致判定を得た要素も併せて参照することで、より機能的画像が合成し得る。また、参照画像に類似性が高い不一致物体を加えるか否かの処理は、一設定項目として有していても良いし、類似度の閾値で判定してもよい。なお、画像合成処理に合わせて識別した対象領域（要素）から更に要素を抽出してもよい。例えば、人物から、目、鼻、口、耳、名札など、を中心にその周囲毎に要素を部分要素として抽出したり、車両からナンバープレートや運転者（更にはその顔）を多段に抽出すればよい。また、物体認識処理の１段目、２段目、・・・ｎ段目のように多段処理構成とした際には、個々の処理で得られた要素の関係（類似度）と要素毎の重みを要素情報として付与することが望ましい。また、多段構成で得られた要素毎にパッチ抽出を行う処理と組み合わせることとしても良い。
上記要素抽出処理は、それぞれのカメラから取得された画像について行われる。この処理は、必ずしも同期や同一方式で行われる必要は無く、個々のカメラから出力される種別やフレームレートに合わせて実行すればよい。また、個々のカメラはフレームレートを個別に設定できるように構成されることが望ましい。この設定に合わせて、類似要素探索部２１０は、それぞれのフレームレートに合わせた要素抽出処理により要素を抽出すればよい。
この際、類似要素探索部２１０は、参照画像として取得されている連続した画像内から、基準画像として取得された画像の取得タイミングに対応した画像若しくは画像群を選定して、その画像（群）から要素抽出する構成としてもよい。また、基準画像の取得タイミングに対応する画像（参照画像）に所定枚数の関連画像を加えて画像合成を行い、この合成した画像から類似要素の抽出を図っても良い。関連画像は、例えば、時間を指定して、１秒前、１０秒前、１分前、１時間前などのように過去に取得された画像を用いることができる。また、所定対象物が描写された画像を関連画像とすることもできる。例えば、特定形状や色の乗り物、騒音を立てている乗り物、特定人物、特定動体、など、を関連画像として取得すればよい。
また、関連画像とする画像を、所定画像枚数と設定したり、所定時間内に含まれる前方又は後方の画像を所要に用いることを行えばよい。なお、後方画像の量（枚数）は、基準画像の要素抽出処理の間隔内であればリアルタイム処理で行えばよい。また、事後的な合成画像の再生に備え、適宜バックグラウンドで後方画像も踏まえた類似要素抽出処理を行えばよい。
また、類似要素探索部２１０は、それぞれ異なるカメラで取得された参照画像毎に、各々の画像種別に合った要素抽出処理を行って類似要素を取得することが望ましい。
例えば、画像種別として、撮像スペクトル範囲が異なる複数台の参照カメラがあれば、個々の撮像スペクトル範囲を踏まえて要素抽出を行えばよい。またこの際に、カメラ種別や解像度の設定も踏まえれば、要素抽出の適切度が向上する。
また、類似要素探索部２１０は、基準画像に対して実行する（している）要素抽出処理種別を、参照画像から類似要素を抽出する処理種別として揃えることを設定項目として有することが望ましい。例えば、それぞれのカメラの種別を識別してその種別に合わせた要素抽出処理を実行した際に、参照画像について基準カメラの種別に合わせた要素抽出処理も加えて実行すればよい。このことによって、本処理を行わなかった際に参照画像から抽出されない要素を類似要素として抽出することとなり、有益に働き得る要素を抽出できる。このため、例えば、撮像スペクトル範囲の違いなどを吸収して良好な類似要素を抽出し得る。また、参照画像内で抽出されるほどの特徴として表れていない要素についても抽出し得る。
これらの基準画像及び参照画像に対する要素抽出処理を適宜組み合わせて実行することによって、より良い合成画像を得る為の類似要素を抽出できる。
抽出された各要素は、基準画像から抽出された要素（群）と各参照画像から抽出された要素（群）とに分けられ、要素間の類似性を求められる。この類似性は、画像としての類似度を数値化した値や、予め有する属性の類似性判定テーブルなどから値を算出すればよい。基準画像の各要素に対して、所定の類似度を満たす参照画像の要素（群）について、各要素に対する類似要素と紐付けられる。なお、類似性は必ずしも１種別に限定する必要は無く、異なる観点に基づいた複数の類似性種別を採用して、並列的に処理を進めても良い。また、採用する類似性は、個々の参照画像（カメラ種別）毎に基準画像情報（カメラ種別やフレームレート等）を参照して切り替えることとしても良い。また、後の合成処理では、採用する類似性を適宜切り替えることにより、観点の異なる合成画像が得られる。また、画像合成処理では、画像合成に用いる類似要素を選定する類似度の評価基準を有することが望ましい。この類似度の評価基準では、類似度の値や、属性範囲、個々の参照画像からの採用上限、個々の参照画像（カメラ種別）に対する重み付けなどを規定する。この評価基準に則して類似要素毎に採用／不採用が判断され、採用された類似要素（群）が画像合成に利用される。
上記各処理は、ＬＳＩやＣＰＵによって高速に処理される。他方で、処理リソースは有限であり、また参照画像要素の抽出を必要以上に類似度が低い要素抽出を行うまで繰り返す必要はない。そのため、適宜限定条件を設けることが望ましい。
参照画像に対する要素抽出処理量は、探索範囲を限定することで大きく削減可能となる。他方で、探索範囲を予め限定することは抽出されるべき類似要素を取り損なうことに関連付く。
そこで、適応的に探索範囲を変化させる手法を説明する。例として強化画像として超デノイジング処理された画像を得るために、適応的に探索範囲を変化させながら参照画像から多数のパッチを収集するアルゴリズムを説明する。
本手法では、探索範囲をパッチ毎に適応的に変化させる。基準画像から抽出された所定パッチに対して、参照画像から類似パッチを収集するにあたり、所定パッチ（以下注目パッチｙｋと記する）を中心に探索範囲を定め、集めたパッチｙｊに対してそれぞれ類似度評価を計算する。すなわち、基準画像から抽出した注目パッチｙｋ（の中心）と同一又は類似と見做した参照画像上の箇所を基準として類似パッチの抽出を試みる探索範囲を決定処理し、該探索範囲内からパッチｙｊ（群）の抽出を行う。抽出されたパッチｙｊ（群）は、類似パッチｙｉとして採用するか類似性に基づいて選択される。この際、参照画像毎に類似パッチを抽出することが望ましい。
なお、基準画像内から自己相似性に基づいた類似パッチを抽出して画像合成時に参照画像の類似パッチと共に利用することも可能である。
次に、個々の参照画像に対して探索で得られたパッチｙｊの類似度重みを逐次足し合わせ、類似度重みの合計値Ｓｋを参照画像毎に計算する。Ｓｋがある所定閾値τを越えた時点で、その参照画像について類似パッチの探索を停止して、対象とするパッチの簡易デノイジングを行う。本例では閾値としてパッチサイズτ＝Ｍを用いる。
このようにアルゴリズムを採ることにより、類似パッチの探索範囲と抽出数を注目パッチｙｋに対応させて演算コストを削減しつつ良好な類似パッチｙｉを抽出できる。
類似度重み関数は類似していないパッチｙｊに対して小さな値を重みづける。
しかし、小さな値に重み付けたパッチの個数が多い場合、支配的な構造を推定することに影響を与えかねない。
そこで、類似度が低いパッチｙｊを棄却し、類似度が高いｙｊパッチのみで支配的な構造を推定処理する仕組み（類似度重み関数）を導入する。この仕組みとして、発明者は閾値を導入した類似度重み関数を採用する。
この閾値を導入した類似度重み関数を用いて、類似度重みの値が大きい上位ｔｈ個以外のパッチに対して、類似度重みを”０”に設定する。
以下に閾値を導入した類似度重み関数を示す。
なお、プレフィルタパッチとは、注目パッチｙｋ等に対して例えばデノイジングを行うプレフィルタを通過させたパッチである。この閾値を導入した類似度重み関数を用いることによって、プレフィルタパッチを用いることも可能になる。
本発明のように独立配置可能にカメラ群を構成した場合、撮像された画像間に様々なズレが生じている。そもそも、カメラの向く方位が異なっていれば同一の対象が描写されていない。また、サンプリングタイミングにもズレが生じ得る。
以下では、このような運用上の自由度を担保しつつパッチ探索窓を決定するための適応的探索範囲（対応点探索）を導き出す一つのアルゴリズム例を説明する。
まず、適応的探索範囲の基準画像から所定条件に則って抽出された注目パッチを定める。この注目パッチを中心として、基準画像から類似パッチを所定範囲探索する。
次に、各参照画像から所定条件に則って抽出された範囲（基準画像の注目パッチに対応した範囲）を中心として、類似パッチを基準画像と同じ所定範囲を探索する。
このように、条件を揃えて基準画像と参照画像に同様な探索窓を設定する。この処理により、異なる視野を有するカメラ間でも同一若しくは類似箇所を窓として設定し得る。なお、プレフィルタ処理を行っておくことにより、より良い類似パッチが得られる。
各参照画像から対応する範囲を探索する一方法として、同位撮影方向、同位間隔を必ず維持するカメラ間には、先行技術同様のＸ−Ｙ軸水平移動による位置合わせキャリブレーションを適用してもよい。複数の同等カメラを固定的に運用する際に適する。必要に応じて縁部の湾曲を補正するキャリブレーションを組み合わせればよい。よりキャリブレーションの正確性が高まる。反面、各キャリブレーションにはコスト（処理リソースや時間など）が多量にかかる側面をある。
一方で、上記した適応的探索範囲を採用することで、同位撮影方向、同位間隔を維持する関係を有するカメラ群を含めて、多くのカメラ間で対応点を良好に探索できる。
ここで、同位撮影方向、同位間隔を維持した場合を例に、上記方式を詳細に説明する。図３は、同位撮影方向、同位間隔を維持した９箇所の撮影ポイントから得られた画像である。９台のカメラ群から出力される画像に当たる。
この中から１画像を基準画像として、注目パッチｙｋ（中心座標（Ｐｘ，Ｐｙ））所定条件ｋに則って選定する。
次に、所定条件ｋに則って残り８画像（参照画像）から注目パッチｙｋと類似すると見做す範囲を導出する。この際に抽出される画像は、注目パッチｙｋと同一箇所が抽出される。他方で、異なる撮影方向を有するカメラが含まれていた際には、同じ箇所は抽出されずに類似箇所が抽出される。所定条件ｋを満たさなければ同一箇所（類似箇所）は抽出されない。この説明では、同一箇所を示す参照画像上の範囲を対応パッチｙｉｃと定義する。次に、参照画像毎に、導出した対応パッチｙｉｃを中心に類似パッチを探索する。
なお、上記のようにカメラ間の間隔が固定的範囲を維持する場合には、より低処理量な方法を適用できる。まずは、所定条件ｋで基準画像から注目パッチｙｋを抽出すると共に、その座標範囲を記憶する。次に各参照画像内の同一座標に対して範囲Ｒ内で類似パッチを探索する。この際に収集されたパッチの中で最も類似度が高いパッチを対応パッチｙｉｃとし、その中心座標（Ｐｘｃ，Ｐｙｃ）を対応点と見做す。次に、参照画像毎に、導出した対応パッチｙｉｃを中心に類似パッチを再探索する。
図４は、上記アルゴリズムの概念を示した説明図である。本図では、基準画像の鮮明化（超デノイジング映像合成処理）の為の要素抽出概念を示している。
図中にマーキングしているように、上記アルゴリズムによって、基準画像及び基準画像と視野範囲が異なる参照画像それぞれから、類似パッチの抽出及び類似度の高い類似パッチの選抜が行える。結果、類似度の高い類似パッチを多量に揃えることで、良好な画像合成が行なえる。図中に示すように良好な類似パッチを各画像から収集できるので、画像合成により顎部分について鮮明な画像が得られる。また、同様の処理を自動抽出や任意指定された範囲に繰り返すことで、画像全体が鮮明になる。
次に、画像合成例を幾つか説明する。なお、本画像合成例は画像合成方法を限定するものではない。基準画像に含まれていた要素を対応する類似要素を用いて所望な情報強化された合成画像を得る為に、カメラの選定を含めて所要に処理方法を選定すればよい。
［組み合わせ例１］
・基準カメラの画像鮮明化を実行する構成とすれば、参照カメラとして同等のカメラを複数台同等方向に向けて準備する。個々の視野から取得された画像から類似要素となるパッチ群を多数取得する。その後、デノイジング処理と超解像処理とを組み合わせ、鮮明画像を取得する。
［組み合わせ例２］
・高機能化暗視映像を取得する構成とすれば、基準カメラとして高解像度のモノクロ撮像カメラと、参照カメラとしてカラーカメラと赤外線カメラと紫外線カメラを適宜配置する。個々の視野から取得された様々な情報を有する画像から置き換え要素を取得する。その後、デノイジング処理と同一箇所の置き換え処理を組み合わせ、所望画像を取得する。
［組み合わせ例３］
・ハイダイナミックレンジ画像を取得する構成とすれば、基準カメラと異なる露出設定が成された複数台のカメラを適宜配置する。個々の視野から取得された様々な露光量の画像から置き換え要素を取得する。その後、デノイジング処理と同一箇所の置き換え処理を組み合わせ、所望画像を取得する。
［組み合わせ例４］
・マルチスペクトル画像を取得する構成とすれば、基準カメラと異なるスペクトルを撮影できる複数台のカメラを適宜配置する。個々の視野から取得された様々なスペクトル画像から置き換え要素を取得する。その後、デノイジング処理と同一箇所の置き換え処理を組み合わせ、所望画像を取得する。
［他の組み合わせ例］
・他にも、異なる種別のカメラや視野を異ならせたカメラを組み合わせることで、輪郭強調画像の生成や、マルチフォーカス画像の生成、任意属性を有する人物の強調表示画像の生成などを行なえる。
なお、特定対象（抽出要素）について予め準備されたデータベースを高解像度処理等に利用してもよい。
次に、本発明の別の実施形態を幾つか説明する。
［第２の実施形態］
図５は、第２の実施形態にかかる多眼撮像システム２を示す構成図である。なお、同様な構成に対する説明は簡略化又は省略する。
多眼撮像システム２は、カメラ群１０と画像処理部２０とを含み構成されている。画像処理部２０には、基準画像選択部２３０が追加されている。
基準画像選択部２３０は、基準映像選択信号を受け付けて、選択された任意のカメラを基準画像を得る撮像手段として、加えて残りのカメラを参照画像を得る撮像手段として使用するように入出力を組み替えるように構成されている。なお、基準画像選択部２３０は、画像処理部２０とカメラ群１０との間に別途設けられてもよい。
基準映像選択信号は、人間がボタンやタッチパネルなどを介して選択されるように構成してもよいし、機械が自動選択するように構成してもよい。また、遠隔地から通信手段を介して受け付ける構成としてもよい。
基準映像を選択する自動処理は、例えば、画像毎の暈け具合などを評価して、最も良い判定値を有した画像を基準画像として自動選択する仕組みを組み込めばよい。
評価基準は、例えば、パッチ毎に画質を評価して、その平均値が最も良い画像を選択したり、パッチ毎に画質の良悪を評価して、良いパッチの数もしくは面積が最も広い画像を選択すればよい。画質評価の例としては、画素値の分散や、高周波成分、輝度の平均値（中央あたりが高い評価）などを用いれる。
この構成によれば、基準映像選択信号に基づいて、基準カメラを動的に切り替えることが可能になる。
［第３の実施形態］
図６は、第３の実施形態にかかる多眼撮像システム３を示す構成図である。なお、同様な構成に対する説明は簡略化又は省略する。
多眼撮像システム３は、カメラ群１０と画像処理部２０とノイズ除去フィルタ部２４０と要素データベース２５０を含み構成されている。
ノイズ除去フィルタ部２４０は、カメラ群１０の１つ若しくは複数の画像について、ノイズ除去処理を実行するように構成される。
要素データベース２５０には、過去に類似要素探索部２１０によって抽出された多くの要素が記録されている。また、予め標準的に用いられる基準類似要素を保持する構成としてもよい。
要素データベース２５０は、類似要素探索部２１０から要素の登録を受けると共に、類似要素探索部２１０からの要求に応じて保持している要素を応答する。ここで用いられる要求には、例えば類似要素探索部２１０で行なわれた探索処理結果である類似要素を用いることができる。また、基準画像に含まれていた要素を用いてよい。
類似要素探索部２１０は、要素データベース２５０に要求した類似要素若しくは基準画像の要素の何れか又は両方に類似した要素を取得して、探索結果として画像合成部２２０に通知すればよい。
画像合成部２２０は、基準画像に含まれていた要素について、類似要素探索部２１０で抽出された類似要素と共に要素データベース２５０から取得された要素を用いて合成処理を実行する。
この構成によれば、ノイズ除去後の画像を用いて良好な類似探索処理を実行でき、加えて、多数の高類似度の類似要素を用いて、より高機能的な画像合成を得ることが可能になる。
［他の実施形態］
また、図７に示すように外部データベースを利用できるように通信部を設ける構成としてもよい。この外部データベースには、過去に蓄積された様々な画像や抽出要素が蓄積されており、所要な目的に適宜利用する。
また、図８に示すように外部から探索範囲選択信号を受け付ける構成としてもよい。なお、画像処理部は、探索範囲選択信号を受け付けて、基準画像、参照画像、若しくは合成画像に対して、探索範囲の指定を受け付け得る構成とすれば良い。また、同時的に複数（複数個所、複数範囲、複数対象）を選択されるように構成してもよい。画像処理部は、指定された画像範囲内と対応する他画像の範囲内について探索して、所望画像に合成処理すればよい。
また、図９に示すように要素形状適応部を設ける構成としてもよい。要素形状適応部では、基準画像及び／又は参照画像に対して画像特徴に基づいて同一要素を識別処理し、この識別処理で判別した同一要素を一つの基準として以後の要素抽出処理の粗さを適応的に決定するように構成してもよい。また、他の多眼撮像装置で合成された合成映像を入力として様々な映像強化を多段階で行えるように構成してもよい。
このように多眼撮像システムを構成することによって、複数の撮像素子を用いて所要な画像合成を実施する際に、独立配置された個々の撮像素子から得られた各画像に描写されていた同一と見做せる対象部分の画像要素（群）を自動収集して画像補強を実行することが可能になる。この際に、同一と見做せる対象部分は必ずしも同一対象を被写体として捉えている必要は無く、要素として類似していれば有益に働く。より具体的な例を挙げれば、鮮明画像を得る際に、ある対象の前後の映像を２台のカメラで撮像すれば、対象の前後にある類似部分が利用されて該当部分の鮮明画像が得られる。また、動物の群れを数箇所で捉えれば、基準画像に描写されている個体が他のカメラ（参照画像）から得られた別の個体の類似部分を利用されて鮮明化される。また、所定部分を強調表示する例では、高速道路の望遠映像を基準画像として、小さく描写されている車両の画素範囲及びその周囲に、推定されたナンバープレートと運転者の顔映像が生成される。また、（帽子や光源などにより）陰影で隠れた人物の顔の正確な陰影をハイダイナミックレンジ合成画像やマルチスペクトル合成画像として取得し得る。多眼撮像システムは、これらの処理をリアルタイム処理で実行すれば、基準画像として動画像を用いて、その動画像のフレームレートを維持した強化動画像を出力可能となる。
即ち、本発明によれば、複数の撮像素子を用いて所要な画像合成を実施する際に、各画像に存在した画像要素から画像補強を実行することにより基準画像をより機能的画像に変換する多眼撮像システムを提供できる。
なお、多眼撮像システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアで実現する形態では各部の全て又は一部をＬＳＩ上に回路構築すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、全て又は一部の手段として機能させる。例えば、類似要素探索部又は画像合成部の一方をＬＳＩ上に回路構築して、他をプログラムに則して動作する制御部に行わせるように構成されてもよい。また、このプログラムは、記録媒体に固定的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
本発明の具体的な構成は前述の実施形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替え、各実施形態の組み合わせなど、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
独立配置可能に構成された複数の撮像部と、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得すると共に、前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理する類似要素探索部と、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する画像合成部と、
を含み成ることを特徴とする多眼撮像システム。
［付記２］
前記類似要素探索部は、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記３］
前記類似要素探索部は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して要素として抽出する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記４］
前記類似要素探索部は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して抽出すると共に、該対象の一部に該当する要素を、部分認識処理及び／又はパッチ抽出処理を実行して抽出することを特徴とする上記付記記載の多眼撮像システム。
［付記５］
前記複数の撮像部は、他の前記撮像部の画像出力と同期処理を行わずに画像出力のフレームレートを個々に設定可能であり、
前記類似要素探索部は、前記複数の撮像部毎に各々のフレームレートで前記基準画像と前記参照画像とを取得すると共に、それぞれのフレームレートに合わせた要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記６］
前記類似要素探索部は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理して、該対応する画像のみについて要素抽出処理を実行して類似要素を抽出する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記７］
前記類似要素探索部は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理すると共に、該対応した画像に所定枚数の関連画像を加えて合成した画像について要素抽出処理を実行して類似要素を抽出することを特徴とする上記付記記載の多眼撮像システム。
［付記８］
前記類似要素探索部は、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とする上記付記記載の多眼撮像システム。
［付記９］
前記類似要素探索部は、前記画像種別として、前記撮像部毎の撮像スペクトル範囲若しくはカメラ種別に対応させることを特徴とする上記付記記載の多眼撮像システム。
［付記１０］
前記類似要素探索部は、前記画像種別として、前記解像度に対応することを特徴とする上記付記記載の多眼撮像システム。
［付記１１］
前記類似要素探索部は、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とする上記付記記載の多眼撮像システム。
［付記１２］
要素を蓄積保存する要素データベースを更に有し、
前記類似要素探索部は、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１３］
要素群を予め蓄積保存する外部要素データベースと通信可能にする通信部を更に有し、
前記類似要素探索部は、前記基準画像及び／又は前記参照画像から得られた要素に類似する要素を相似要素として前記外部要素データベースから選定処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素外部データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１４］
前記画像合成部は、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１５］
前記類似要素探索部は、探索範囲選択信号として、前記基準画像、前記参照画像、若しくは前記合成画像に対して成された１ないし複数の画像範囲の指定を受けて、該範囲及び該範囲に対応する前記基準画像の画像内及び／又は前記参照画像の画像内と識別された対応画像範囲内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索し、
前記画像合成部は、前記基準画像の識別された対応画像範囲内に含まれていた少なくとも１つの要素について、前記類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１６］
前記基準画像及び／又は前記参照画像に対して画像特徴に基づいて同一要素を識別処理すると共に、該識別処理で判別した同一要素を基準に以後の要素抽出処理の粗さを適応的に決定する要素形状適応部を更に有する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１７］
前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させる基準画像選択部を更に有する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１８］
前記複数の撮像部から得られる１ないし全ての画像について、ノイズ除去処理を実行するノイズ除去フィルタ部を更に有することを特徴とする上記付記記載の多眼撮像システム。
［付記１９］
前記基準画像として動画像を取得すると共に、前記類似要素探索部、及び前記画像合成部は、前記動画像の入力フレームレートを維持するリアルタイム処理で前記動画像を強化動画像に合成して出力することを特徴とする上記付記記載の多眼撮像システム。
［付記２０］
前記類似要素探索部と前記画像合成部との少なくとも一方をＬＳＩに構築された回路網で実現されたことを特徴とする上記付記記載の多眼撮像システム。
［付記２１］
ＲＡＭに展開されたプログラムに基づいて動作する制御部を、前記類似要素探索部と前記画像合成部の少なくとも一方として動作させることで実現されたことを特徴とする上記付記記載の多眼撮像システム。
［付記２２］
独立配置可能に構成され得る複数の撮像部に含まれる少なくとも一の撮像部と前記複数の撮像部に含まれる他の撮像部とから、基準画像と参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理し、
合成処理した前記所望画像を出力する
ことを特徴とする複数の撮像部による取得画像の合成処理方法。
［付記２３］
前記探索処理は、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記２４］
前記探索処理は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して要素として抽出することを特徴とする上記付記記載の合成処理方法。
［付記２５］
前記探索処理は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して抽出すると共に、該対象の一部に該当する要素を、部分認識処理及び／又はパッチ抽出処理を実行して抽出することを特徴とする上記付記記載の合成処理方法。
［付記２６］
前記複数の撮像部は、他の前記撮像部の画像出力と同期処理を行わずに画像出力のフレームレートを個々に設定可能であり、
前記探索処理は、前記複数の撮像部毎に各々のフレームレートで前記基準画像と前記参照画像とを取得すると共に、それぞれのフレームレートに合わせた要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記２７］
前記探索処理は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理して、該対応する画像のみについて要素抽出処理を実行して類似要素を抽出することを特徴とする上記付記記載の合成処理方法。
［付記２８］
前記探索処理は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理すると共に、該対応した画像に所定枚数の関連画像を加えて合成した画像について要素抽出処理を実行して類似要素を抽出することを特徴とする上記付記記載の合成処理方法。
［付記２９］
前記探索処理は、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とする上記付記記載の合成処理方法。
［付記３０］
前記探索処理は、前記画像種別として、前記撮像部毎の撮像スペクトル範囲若しくはカメラ種別に対応させることを特徴とする上記付記記載の合成処理方法。
［付記３１］
前記探索処理は、前記画像種別として、前記解像度に対応することを特徴とする上記付記記載の合成処理方法。
［付記３２］
前記探索処理は、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記３３］
要素を蓄積保存する要素データベースを更に有し、
前記探索処理は、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記合成処理は、前記基準画像に含まれていた少なくとも１つの要素について、前記探索処理で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成する
ことを特徴とする上記付記記載の合成処理方法。
［付記３４］
要素群を予め蓄積保存する外部要素データベースと通信可能にする通信部を更に有し、
前記探索処理は、前記基準画像及び／又は前記参照画像から得られた要素に類似する要素を相似要素として前記外部要素データベースから選定処理し、
前記合成処理は、前記基準画像に含まれていた少なくとも１つの要素について、前記探索処理で抽出した類似要素及び／又は前記要素外部データベースから取得した相似要素を参照しながら、所望画像に合成する
ことを特徴とする上記付記記載の合成処理方法。
［付記３５］
前記合成処理は、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記３６］
前記探索処理は、探索範囲選択信号として、前記基準画像、前記参照画像、若しくは前記合成画像に対して成された１ないし複数の画像範囲の指定を受けて、該範囲及び該範囲に対応する前記基準画像の画像内及び／又は前記参照画像の画像内と識別された対応画像範囲内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索し、
前記合成処理は、前記基準画像の識別された対応画像範囲内に含まれていた少なくとも１つの要素について、前記類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ことを特徴とする上記付記記載の合成処理方法。
［付記３７］
前記基準画像及び／又は前記参照画像に対して画像特徴に基づいて同一要素を識別処理すると共に、該識別処理で判別した同一要素を基準に以後の要素抽出処理の粗さを適応的に決定することを特徴とする上記付記記載の合成処理方法。
［付記３８］
前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させることを特徴とする上記付記記載の合成処理方法。
［付記３９］
前記複数の撮像部から得られる１ないし全ての画像について、探索処理前に、ノイズ除去処理を実行することを特徴とする上記付記記載の多眼撮像システム。
［付記４０］
前記基準画像として動画像を取得すると共に、前記探索処理、及び前記合成処理は、前記動画像の入力フレームレートを維持するリアルタイム処理で前記動画像を強化動画像に合成して出力することを特徴とする上記付記記載の合成処理方法。
［付記４１］
前記探索処理と前記合成処理との少なくとも一方をＬＳＩに構築された回路網で実行して成ることを特徴とする上記付記記載の合成処理方法。
［付記４２］
ＲＡＭに展開されたプログラムに基づいて動作する制御部に、前記探索処理と前記合成処理の少なくとも一方を動作させて成ることを特徴とする上記付記記載の合成処理方法。
［付記４３］
複数の撮像部から出力を受け付ける情報処理装置の制御部を、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ように動作させることを特徴とするプログラム。
［付記４４］
複数の撮像部から出力を受け付ける情報処理装置の制御部を、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
その探索結果を、ＬＳＩに構築された画像合成部に受け渡す
ように動作させることを特徴とするプログラム。
［付記４５］
情報処理装置の制御部を、ＬＳＩに構築された類似要素探索部から、その探索結果を受け付けて、基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力するように動作させることを特徴とするプログラム。
［付記４６］
前記類似要素探索部を、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記４７］
前記類似要素探索部を、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して要素として抽出する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記４８］
前記類似要素探索部を、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して抽出すると共に、該対象の一部に該当する要素を、部分認識処理及び／又はパッチ抽出処理を実行して抽出するように動作させることを特徴とする上記付記記載のプログラム。
［付記４９］
画像出力のフレームレートが個々に設定されている前記複数の撮像部から出力を受け付けて、
前記類似要素探索部を、前記複数の撮像部毎に各々のフレームレートで前記基準画像と前記参照画像とを取得すると共に、それぞれのフレームレートに合わせた要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５０］
前記類似要素探索部を、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理して、該対応する画像のみについて要素抽出処理を実行して類似要素を抽出するように動作させることを特徴とする上記付記記載のプログラム。
［付記５１］
前記類似要素探索部を、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理すると共に、該対応した画像に所定枚数の関連画像を加えて合成した画像について要素抽出処理を実行して類似要素を抽出するように動作させることを特徴とする上記付記記載のプログラム。
［付記５２］
前記類似要素探索部を、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理するように動作させることを特徴とする上記付記記載のプログラム。
［付記５３］
前記類似要素探索部を、前記画像種別として、前記撮像部毎の撮像スペクトル範囲若しくはカメラ種別に対応させて処理動作を変更するように動作させることを特徴とする上記付記記載のプログラム。
［付記５４］
前記類似要素探索部を、前記画像種別として、前記解像度に対応させて処理動作を変更するように動作させることを特徴とする上記付記記載のプログラム。
［付記５５］
前記類似要素探索部を、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とするように動作させる上記付記記載のプログラム。
［付記５６］
要素を蓄積保存する要素データベースを利用して、
前記類似要素探索部を、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５７］
要素群を予め蓄積保存する外部要素データベースと通信可能にする通信部を利用して、
前記類似要素探索部を、前記基準画像及び／又は前記参照画像から得られた要素に類似する要素を相似要素として前記外部要素データベースから選定処理し、
前記画像合成部を、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素外部データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５８］
前記画像合成部を、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５９］
前記類似要素探索部を、探索範囲選択信号として、前記基準画像、前記参照画像、若しくは前記合成画像に対して成された１ないし複数の画像範囲の指定を受けて、該範囲及び該範囲に対応する前記基準画像の画像内及び／又は前記参照画像の画像内と識別された対応画像範囲内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索し、
前記画像合成部を、前記基準画像の識別された対応画像範囲内に含まれていた少なくとも１つの要素について、前記類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記６０］
前記制御部を、前記基準画像及び／又は前記参照画像に対して画像特徴に基づいて同一要素を識別処理すると共に、該識別処理で判別した同一要素を基準に以後の要素抽出処理の粗さを適応的に決定する要素形状適応部として更に動作させることを特徴とする上記付記記載のプログラム。
［付記６１］
前記制御部を、前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させる基準画像選択部として更に動作させることを特徴とする上記付記記載のプログラム。
［付記６２］
前記制御部を、前記複数の撮像部から得られる１ないし全ての画像について、ノイズ除去処理を実行するノイズ除去フィルタ部として更に動作させることを特徴とする上記付記記載のプログラム。
［付記６３］
前記基準画像として動画像を取得させると共に、前記類似要素探索部、及び前記画像合成部を、前記動画像の入力フレームレートを維持するリアルタイム処理で前記動画像を強化動画像に合成して出力させることを特徴とする上記付記記載のプログラム。
［第１の実施形態］
図１は、第１の実施形態にかかる多眼撮像システム１を示す構成図である。
多眼撮像システム１は、カメラ群１０と、カメラ群１０から取得された複数の画像に所望の画像処理を実行する画像処理部２０とを含み構成されている。なお、撮像に係る入力部（操作パネルなど）や出力部（表示部やコンポジット用インタフェースなど）は、説明を省略する。
カメラ群１０は、個々に撮像素子を備えた撮像手段であり、様々な撮像手段を所望する画像に合わせて選択すればよい。カメラ群１０に属する各カメラは、概ね同様な方向に向けて独立配置される。上記先行技術のような厳密なカメラ間の位置補整を行なう必要はない。カメラ群１０には、基準カメラ１００と参照カメラ１１０、１２０が含まれる。基準カメラ１００と参照カメラ１１０、１２０は、それぞれ基準画像と参照画像とを出力する。例えば、映像として描写される幾つかの対象について個々に緻密に表面温度を測った動画像をリアルタイムで取得する場合には、動画カメラと赤外線カメラを用いればよい。また、単眼の撮像素子で実現できない高解像度動画を所望する際に、解像度の高い動画カメラに一ないし複数のサブカメラを組み合わせることで超解像度映像を取得する構成としてもよい。また、図示するように基準カメラ１００から出力された画像（基準画像）をそのまま標準映像として出力してもよい。また、個々のカメラは絞りや角度などを画像処理部２０側から操作される構成でもよい。カメラ群に属するカメラ装置を例示すれば、動画像カメラ、静止画像カメラ、赤外線カメラ、暗視カメラ、高感度モノクロカメラなどが挙げられる。また、音カメラや放射線量カメラなどの計測センサ機器と組み合わされたカメラでも良い。各カメラ群は、カメラ間の位置補整を行なう必要はなく、独立配置される。この際、上記したように同様な方向にカメラを向ける必要性は必ずしもなく、同様な撮影空間内に望む映像に合わせて適宜カメラ向きを設定すればよい。またカメラ間の配置関係が撮像中に変化するような撮影でも本発明によれば有益な映像を撮影し得る。
画像処理部２０は、類似要素探索部２１０と画像合成部２２０とを含む。
類似要素探索部２１０は、以下の処理を行うように構成されている。類似要素探索部２１０は、カメラ群１０から出力された複数の画像を受け付けて、基準画像とする任意の画像内に含まれていた各要素を抽出処理するとともに、各要素に関連する基準要素情報を一時記憶する。基準要素情報は、個々の要素に対する、基準画像中の位置座標や形状、大きさなどを含む。例えば、抽出する要素にあたる矩形パッチであれば、基準画像中のパッチ範囲を座標値で記録される。また、上記抽出処理と共に物体認識を行なった場合には、基準要素情報として識別対象名や物体形状を含ませればよい。また、温度分布認識や画像パターン認識を行なった場合にはその特徴を所望する画像合成に合わせて基準要素情報に含ませればよい。
また、類似要素探索部２１０は、他の画像（参照画像）内に含まれていた各要素を抽出処理するとともに、各要素に関連する参照要素情報を一時記憶する。参照要素情報は、個々の要素に対する、参照画像中の位置座標や形状、大きさ、物体認識を行なった場合には識別対象名や物体形状、温度分布認識や画像パターン認識を行なった場合にはその特徴などを所望する画像合成に合わせて含ませればよい。参照要素情報は、必ずしも基準要素情報と同一方式で収集する必要はなく、撮像映像に合わせて取得することが望ましい。また、基準要素情報を踏まえて、参照要素情報を収集することとしてもよい。また、参照画像中から同一範囲を含む複数の要素を抽出してもよい。
次に、類似要素探索部２１０は、基準画像から抽出した各要素と参照画像から抽出した各要素とが対応（同一又は類似した要素と見做）するか、基準画像に含まれていた要素毎に、参照画像内に含まれていた要素との類似性を算定して、類似要素を対応付ける探索処理を実施して、適宜探索結果を出力する。この探索結果には、基準画像に含まれていた要素に対応すると判定された参照画像内から抽出された要素部分の画像も含まれる。なお、類似要素探索部２１０で行なう類似要素の探索処理は、適宜リアルタイム処理で行うことが望ましく、後に事例を挙げて詳説する。
画像合成部２２０は、基準画像と探索結果とを受け付けて、基準画像に含まれていた個々の要素について、類似要素探索部２１０で対応付けられた類似要素を情報源として映像の加工を実施すると共に、加工した個々の要素映像を合成処理して、出力合成映像を生成するように構成される。なお、基準画像に含まれていた個々の要素の加工には、１ないし複数の類似要素を複数のパッチとして用いた画像高解像度技術で高解像度に加工したり、必要に応じて要素の周囲部分を所定量加えて加工する処理構成としても良い。また、全体画像中での要素の大きさや形状などを判別した情報や指定された情報に基づいて、加工を行なわない（基準画像をスルーする）要素を判別する処理構成を加えても良い。また、個々の要素について、加工前映像と加工後映像とを比較して、個々の加工後映像を用いるか否かを判別する処理構成を加えても良い。また、個々の要素の加工後映像の加工度合い（変化度合い）を比較して、個々の加工後映像を用いるか否かを判別する処理構成を加えても良い。
このような構成によって、各カメラの位置関係や時間関係、同期関係が不定的な関係で取得された複数の画像から所望な映像を得るための画像合成を行なえる。このことによって、例えば、様々な種類の様々なアングルの複数台のカメラを用いて、基準画像を取得するカメラファインダー越しに撮影できる範囲について、所望の機能的映像を合成加工して得られる。また、画像処理部２０内で取得された複数の画像の合成処理を並列的に異なる処理に付することで、合成加工方式が異なる複数パターンの機能的映像を同時に出力させることも可能となる。
［画像処理フロー］
次に、画像処理部２０で実施される処理動作について説明する。
図２では、合成映像を得る際に画像処理部２０内で行われる画像処理フローを示している。
画像処理部２０は、カメラ群１０から基準画像と共に参照画像を取得する（Ｓ１００１）。取得された基準画像は、類似要素探索部２１０と画像合成部２２０に入力される。また、参照画像は、類似要素探索部２１０に入力される。
次に、類似要素探索部２１０では、基準画像と参照画像とからそれぞれ要素が抽出処理される（Ｓ１００２）。この処理では、基準画像と参照画像とで非同期で並列的に行えばよい。また、基準画像から抽出した要素に対応させて参照画像から要素を抽出するように構成してもよい。また、この時点で基準画像のフレームレート等に揃えるように、各参照画像を基準画像に同期したタイミングで要素の抽出を行うように構成してもよい。
次に、類似要素探索部２１０では、基準画像内に含まれていた要素毎に参照画像内に含まれていた類似した要素を類似要素として探索処理され、探索結果が画像合成部２２０に出力される（Ｓ１００３）。この探索結果には、類似要素と類似関係が基準画像内に含まれていた要素毎に関連付けられて含まれる。この処理は逐次リアルタイム処理で高速に実行されることが望ましい。
画像合成部２２０では、基準画像と探索結果を受け付けて、基準画像内の各要素に対する類似要素を識別され、個々の要素毎に類似要素を用いた画像加工が実施され、加工された要素が基準画像上に合成（置換）された合成映像が出力される（Ｓ１００４）。画像合成部２２０は、要素毎に同時並列処理を実行可能とするために、処理系統を並列化された構成を有することが望ましい。
上記処理動作が行なわれることによって、複数の撮像素子を介して取得された各画像から、基準画像に存在した対象が描写された部分について画像補強を実行され、基準画像をより機能的画像に変換した合成画像が得られる。
ここで、要素抽出処理を説明する。
［要素抽出処理例］
基準画像及び参照画像からそれぞれ抽出される要素には、例えば矩形のパッチを用いることができる。また、特定物体認識や一般物体認識を画像毎に実施して抽出できた対象（該当範囲）を１ないし複数の要素として用いることもできる。なお、物体認識処理は、パッチ抽出処理と共に実行されることが望ましい。
個々のパッチの取得方法は任意である。例えば、画像内全てを所定解像度範囲ごとに等分割してパッチ群を抽出してもよいし、所定条件を満たすパッチ抽出処理を実行してパッチ群を抽出してもよい。所定条件に寄るパッチ抽出処理は、例えば明暗や色彩の変化点を中心点とした所定範囲や、画像内の鋭角や曲率の変化点を捉えた所定範囲、画像内の所定探索対象（例えば、顔のＴラインや、ほうれい線、人物、動体、など）を探索処理後に該範囲を複数分割した所定範囲をパッチに加工すればよい。これらの条件は、システムの用途毎に適宜さだめれば良い。なお、所定探索対象の探索は、１つの撮像素子から得られた画像から時系列変化を参照する技術や人物を探索する技術などを適宜利用すれば特定できる。
基準画像から抽出したパッチ（群）と参照画像から抽出したパッチ（群）との類似判定は、画素毎の色もしくは明るさの２乗和を非類似度とするＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）を用いることができる。ＳＳＤの値は、値が小さいほど２つのパッチが類似していることを示す。なお、他の手法を用いても構わないし、ＳＳＤと他の手法を組み合わせて用いることとしても構わない。また、各手法を用いて類似度を計算する際に、パッチの大きさにもよるものの、パッチ内の中心に対する画素距離に重みを付けることで類似判定の精度を高められる。例えば、ＳＳＤを計算させる際に、パッチの中心からの距離に反比例する重みを付けるとパッチの微小な変動に強くなる。また、比較するパッチ単位で明度の絶対値を合わせたり、比較前にエッジを強調した重みを付けたり、して精度を高める処理動作を付与しても良い。
なお、これらの処理に先立ち、基準画像及び／又は参照画像について、プレフィルタを通過させてもよい。プレフィルタ部は、類似要素探索部２１０内に設けてもよいし、参照カメラ１１０、１２０と類似要素探索部２１０との間に設け、パッチ抽出前の画像又は類似度判定の前に、参照画像もしくは参照画像から抽出されたパッチに対して、ハイパスフィルタ，エッジ抽出，輝度に基づく二値化，Ｎ値化などを行い、類似要素探索を補助する。このプレフィルタ部を通過させて加工された参照パッチを得ることにより、類似要素探索処理を高精度化が図れ、また高速化や低負荷化も図れる。
画像の特徴解析による物体認識処理を単独利用若しくは組み合わせた場合（例えば任意対象の特定物体認識と簡易な一般物体認識とを用いる場合）では、抽出できた対象（要素）について属性が取得できる。基準画像から取得された要素（抽出された対象）の属性と、参照画像から取得された要素（抽出された対象）の属性とに基づいて、一致確率を求めて、要素の一致／不一致を判定できる。なお、参照画像から取得された要素（群）を画像合成時に参照する際に、必ずしも一致判定を得た要素のみに限定して参照する必要は無く、類似性が高い別物体（別個体）と判定された不一致判定を得た要素も併せて参照することで、より機能的画像が合成し得る。また、参照画像に類似性が高い不一致物体を加えるか否かの処理は、一設定項目として有していても良いし、類似度の閾値で判定してもよい。なお、画像合成処理に合わせて識別した対象領域（要素）から更に要素を抽出してもよい。例えば、人物から、目、鼻、口、耳、名札など、を中心にその周囲毎に要素を部分要素として抽出したり、車両からナンバープレートや運転者（更にはその顔）を多段に抽出すればよい。また、物体認識処理の１段目、２段目、・・・ｎ段目のように多段処理構成とした際には、個々の処理で得られた要素の関係（類似度）と要素毎の重みを要素情報として付与することが望ましい。また、多段構成で得られた要素毎にパッチ抽出を行う処理と組み合わせることとしても良い。
上記要素抽出処理は、それぞれのカメラから取得された画像について行われる。この処理は、必ずしも同期や同一方式で行われる必要は無く、個々のカメラから出力される種別やフレームレートに合わせて実行すればよい。また、個々のカメラはフレームレートを個別に設定できるように構成されることが望ましい。この設定に合わせて、類似要素探索部２１０は、それぞれのフレームレートに合わせた要素抽出処理により要素を抽出すればよい。
この際、類似要素探索部２１０は、参照画像として取得されている連続した画像内から、基準画像として取得された画像の取得タイミングに対応した画像若しくは画像群を選定して、その画像（群）から要素抽出する構成としてもよい。また、基準画像の取得タイミングに対応する画像（参照画像）に所定枚数の関連画像を加えて画像合成を行い、この合成した画像から類似要素の抽出を図っても良い。関連画像は、例えば、時間を指定して、１秒前、１０秒前、１分前、１時間前などのように過去に取得された画像を用いることができる。また、所定対象物が描写された画像を関連画像とすることもできる。例えば、特定形状や色の乗り物、騒音を立てている乗り物、特定人物、特定動体、など、を関連画像として取得すればよい。
また、関連画像とする画像を、所定画像枚数と設定したり、所定時間内に含まれる前方又は後方の画像を所要に用いることを行えばよい。なお、後方画像の量（枚数）は、基準画像の要素抽出処理の間隔内であればリアルタイム処理で行えばよい。また、事後的な合成画像の再生に備え、適宜バックグラウンドで後方画像も踏まえた類似要素抽出処理を行えばよい。
また、類似要素探索部２１０は、それぞれ異なるカメラで取得された参照画像毎に、各々の画像種別に合った要素抽出処理を行って類似要素を取得することが望ましい。
例えば、画像種別として、撮像スペクトル範囲が異なる複数台の参照カメラがあれば、個々の撮像スペクトル範囲を踏まえて要素抽出を行えばよい。またこの際に、カメラ種別や解像度の設定も踏まえれば、要素抽出の適切度が向上する。
また、類似要素探索部２１０は、基準画像に対して実行する（している）要素抽出処理種別を、参照画像から類似要素を抽出する処理種別として揃えることを設定項目として有することが望ましい。例えば、それぞれのカメラの種別を識別してその種別に合わせた要素抽出処理を実行した際に、参照画像について基準カメラの種別に合わせた要素抽出処理も加えて実行すればよい。このことによって、本処理を行わなかった際に参照画像から抽出されない要素を類似要素として抽出することとなり、有益に働き得る要素を抽出できる。このため、例えば、撮像スペクトル範囲の違いなどを吸収して良好な類似要素を抽出し得る。また、参照画像内で抽出されるほどの特徴として表れていない要素についても抽出し得る。
これらの基準画像及び参照画像に対する要素抽出処理を適宜組み合わせて実行することによって、より良い合成画像を得る為の類似要素を抽出できる。
抽出された各要素は、基準画像から抽出された要素（群）と各参照画像から抽出された要素（群）とに分けられ、要素間の類似性を求められる。この類似性は、画像としての類似度を数値化した値や、予め有する属性の類似性判定テーブルなどから値を算出すればよい。基準画像の各要素に対して、所定の類似度を満たす参照画像の要素（群）について、各要素に対する類似要素と紐付けられる。なお、類似性は必ずしも１種別に限定する必要は無く、異なる観点に基づいた複数の類似性種別を採用して、並列的に処理を進めても良い。また、採用する類似性は、個々の参照画像（カメラ種別）毎に基準画像情報（カメラ種別やフレームレート等）を参照して切り替えることとしても良い。また、後の合成処理では、採用する類似性を適宜切り替えることにより、観点の異なる合成画像が得られる。また、画像合成処理では、画像合成に用いる類似要素を選定する類似度の評価基準を有することが望ましい。この類似度の評価基準では、類似度の値や、属性範囲、個々の参照画像からの採用上限、個々の参照画像（カメラ種別）に対する重み付けなどを規定する。この評価基準に則して類似要素毎に採用／不採用が判断され、採用された類似要素（群）が画像合成に利用される。
上記各処理は、ＬＳＩやＣＰＵによって高速に処理される。他方で、処理リソースは有限であり、また参照画像要素の抽出を必要以上に類似度が低い要素抽出を行うまで繰り返す必要はない。そのため、適宜限定条件を設けることが望ましい。
参照画像に対する要素抽出処理量は、探索範囲を限定することで大きく削減可能となる。他方で、探索範囲を予め限定することは抽出されるべき類似要素を取り損なうことに関連付く。
そこで、適応的に探索範囲を変化させる手法を説明する。例として強化画像として超デノイジング処理された画像を得るために、適応的に探索範囲を変化させながら参照画像から多数のパッチを収集するアルゴリズムを説明する。
本手法では、探索範囲をパッチ毎に適応的に変化させる。基準画像から抽出された所定パッチに対して、参照画像から類似パッチを収集するにあたり、所定パッチ（以下注目パッチｙｋと記する）を中心に探索範囲を定め、集めたパッチｙｊに対してそれぞれ類似度評価を計算する。すなわち、基準画像から抽出した注目パッチｙｋ（の中心）と同一又は類似と見做した参照画像上の箇所を基準として類似パッチの抽出を試みる探索範囲を決定処理し、該探索範囲内からパッチｙｊ（群）の抽出を行う。抽出されたパッチｙｊ（群）は、類似パッチｙｉとして採用するか類似性に基づいて選択される。この際、参照画像毎に類似パッチを抽出することが望ましい。
なお、基準画像内から自己相似性に基づいた類似パッチを抽出して画像合成時に参照画像の類似パッチと共に利用することも可能である。
次に、個々の参照画像に対して探索で得られたパッチｙｊの類似度重みを逐次足し合わせ、類似度重みの合計値Ｓｋを参照画像毎に計算する。Ｓｋがある所定閾値τを越えた時点で、その参照画像について類似パッチの探索を停止して、対象とするパッチの簡易デノイジングを行う。本例では閾値としてパッチサイズτ＝Ｍを用いる。
このようにアルゴリズムを採ることにより、類似パッチの探索範囲と抽出数を注目パッチｙｋに対応させて演算コストを削減しつつ良好な類似パッチｙｉを抽出できる。
類似度重み関数は類似していないパッチｙｊに対して小さな値を重みづける。
しかし、小さな値に重み付けたパッチの個数が多い場合、支配的な構造を推定することに影響を与えかねない。
そこで、類似度が低いパッチｙｊを棄却し、類似度が高いｙｊパッチのみで支配的な構造を推定処理する仕組み（類似度重み関数）を導入する。この仕組みとして、発明者は閾値を導入した類似度重み関数を採用する。
この閾値を導入した類似度重み関数を用いて、類似度重みの値が大きい上位ｔｈ個以外のパッチに対して、類似度重みを”０”に設定する。
以下に閾値を導入した類似度重み関数を示す。
なお、プレフィルタパッチとは、注目パッチｙｋ等に対して例えばデノイジングを行うプレフィルタを通過させたパッチである。この閾値を導入した類似度重み関数を用いることによって、プレフィルタパッチを用いることも可能になる。
本発明のように独立配置可能にカメラ群を構成した場合、撮像された画像間に様々なズレが生じている。そもそも、カメラの向く方位が異なっていれば同一の対象が描写されていない。また、サンプリングタイミングにもズレが生じ得る。
以下では、このような運用上の自由度を担保しつつパッチ探索窓を決定するための適応的探索範囲（対応点探索）を導き出す一つのアルゴリズム例を説明する。
まず、適応的探索範囲の基準画像から所定条件に則って抽出された注目パッチを定める。この注目パッチを中心として、基準画像から類似パッチを所定範囲探索する。
次に、各参照画像から所定条件に則って抽出された範囲（基準画像の注目パッチに対応した範囲）を中心として、類似パッチを基準画像と同じ所定範囲を探索する。
このように、条件を揃えて基準画像と参照画像に同様な探索窓を設定する。この処理により、異なる視野を有するカメラ間でも同一若しくは類似箇所を窓として設定し得る。なお、プレフィルタ処理を行っておくことにより、より良い類似パッチが得られる。
各参照画像から対応する範囲を探索する一方法として、同位撮影方向、同位間隔を必ず維持するカメラ間には、先行技術同様のＸ−Ｙ軸水平移動による位置合わせキャリブレーションを適用してもよい。複数の同等カメラを固定的に運用する際に適する。必要に応じて縁部の湾曲を補正するキャリブレーションを組み合わせればよい。よりキャリブレーションの正確性が高まる。反面、各キャリブレーションにはコスト（処理リソースや時間など）が多量にかかる側面をある。
一方で、上記した適応的探索範囲を採用することで、同位撮影方向、同位間隔を維持する関係を有するカメラ群を含めて、多くのカメラ間で対応点を良好に探索できる。
ここで、同位撮影方向、同位間隔を維持した場合を例に、上記方式を詳細に説明する。図３は、同位撮影方向、同位間隔を維持した９箇所の撮影ポイントから得られた画像である。９台のカメラ群から出力される画像に当たる。
この中から１画像を基準画像として、注目パッチｙｋ（中心座標（Ｐｘ，Ｐｙ））所定条件ｋに則って選定する。
次に、所定条件ｋに則って残り８画像（参照画像）から注目パッチｙｋと類似すると見做す範囲を導出する。この際に抽出される画像は、注目パッチｙｋと同一箇所が抽出される。他方で、異なる撮影方向を有するカメラが含まれていた際には、同じ箇所は抽出されずに類似箇所が抽出される。所定条件ｋを満たさなければ同一箇所（類似箇所）は抽出されない。この説明では、同一箇所を示す参照画像上の範囲を対応パッチｙｉｃと定義する。次に、参照画像毎に、導出した対応パッチｙｉｃを中心に類似パッチを探索する。
なお、上記のようにカメラ間の間隔が固定的範囲を維持する場合には、より低処理量な方法を適用できる。まずは、所定条件ｋで基準画像から注目パッチｙｋを抽出すると共に、その座標範囲を記憶する。次に各参照画像内の同一座標に対して範囲Ｒ内で類似パッチを探索する。この際に収集されたパッチの中で最も類似度が高いパッチを対応パッチｙｉｃとし、その中心座標（Ｐｘｃ，Ｐｙｃ）を対応点と見做す。次に、参照画像毎に、導出した対応パッチｙｉｃを中心に類似パッチを再探索する。
図４は、上記アルゴリズムの概念を示した説明図である。本図では、基準画像の鮮明化（超デノイジング映像合成処理）の為の要素抽出概念を示している。
図中にマーキングしているように、上記アルゴリズムによって、基準画像及び基準画像と視野範囲が異なる参照画像それぞれから、類似パッチの抽出及び類似度の高い類似パッチの選抜が行える。結果、類似度の高い類似パッチを多量に揃えることで、良好な画像合成が行なえる。図中に示すように良好な類似パッチを各画像から収集できるので、画像合成により顎部分について鮮明な画像が得られる。また、同様の処理を自動抽出や任意指定された範囲に繰り返すことで、画像全体が鮮明になる。
次に、画像合成例を幾つか説明する。なお、本画像合成例は画像合成方法を限定するものではない。基準画像に含まれていた要素を対応する類似要素を用いて所望な情報強化された合成画像を得る為に、カメラの選定を含めて所要に処理方法を選定すればよい。
［組み合わせ例１］
・基準カメラの画像鮮明化を実行する構成とすれば、参照カメラとして同等のカメラを複数台同等方向に向けて準備する。個々の視野から取得された画像から類似要素となるパッチ群を多数取得する。その後、デノイジング処理と超解像処理とを組み合わせ、鮮明画像を取得する。
［組み合わせ例２］
・高機能化暗視映像を取得する構成とすれば、基準カメラとして高解像度のモノクロ撮像カメラと、参照カメラとしてカラーカメラと赤外線カメラと紫外線カメラを適宜配置する。個々の視野から取得された様々な情報を有する画像から置き換え要素を取得する。その後、デノイジング処理と同一箇所の置き換え処理を組み合わせ、所望画像を取得する。
［組み合わせ例３］
・ハイダイナミックレンジ画像を取得する構成とすれば、基準カメラと異なる露出設定が成された複数台のカメラを適宜配置する。個々の視野から取得された様々な露光量の画像から置き換え要素を取得する。その後、デノイジング処理と同一箇所の置き換え処理を組み合わせ、所望画像を取得する。
［組み合わせ例４］
・マルチスペクトル画像を取得する構成とすれば、基準カメラと異なるスペクトルを撮影できる複数台のカメラを適宜配置する。個々の視野から取得された様々なスペクトル画像から置き換え要素を取得する。その後、デノイジング処理と同一箇所の置き換え処理を組み合わせ、所望画像を取得する。
［他の組み合わせ例］
・他にも、異なる種別のカメラや視野を異ならせたカメラを組み合わせることで、輪郭強調画像の生成や、マルチフォーカス画像の生成、任意属性を有する人物の強調表示画像の生成などを行なえる。
なお、特定対象（抽出要素）について予め準備されたデータベースを高解像度処理等に利用してもよい。
次に、本発明の別の実施形態を幾つか説明する。
［第２の実施形態］
図５は、第２の実施形態にかかる多眼撮像システム２を示す構成図である。なお、同様な構成に対する説明は簡略化又は省略する。
多眼撮像システム２は、カメラ群１０と画像処理部２０とを含み構成されている。画像処理部２０には、基準画像選択部２３０が追加されている。
基準画像選択部２３０は、基準映像選択信号を受け付けて、選択された任意のカメラを基準画像を得る撮像手段として、加えて残りのカメラを参照画像を得る撮像手段として使用するように入出力を組み替えるように構成されている。なお、基準画像選択部２３０は、画像処理部２０とカメラ群１０との間に別途設けられてもよい。
基準映像選択信号は、人間がボタンやタッチパネルなどを介して選択されるように構成してもよいし、機械が自動選択するように構成してもよい。また、遠隔地から通信手段を介して受け付ける構成としてもよい。
基準映像を選択する自動処理は、例えば、画像毎の暈け具合などを評価して、最も良い判定値を有した画像を基準画像として自動選択する仕組みを組み込めばよい。
評価基準は、例えば、パッチ毎に画質を評価して、その平均値が最も良い画像を選択したり、パッチ毎に画質の良悪を評価して、良いパッチの数もしくは面積が最も広い画像を選択すればよい。画質評価の例としては、画素値の分散や、高周波成分、輝度の平均値（中央あたりが高い評価）などを用いれる。
この構成によれば、基準映像選択信号に基づいて、基準カメラを動的に切り替えることが可能になる。
［第３の実施形態］
図６は、第３の実施形態にかかる多眼撮像システム３を示す構成図である。なお、同様な構成に対する説明は簡略化又は省略する。
多眼撮像システム３は、カメラ群１０と画像処理部２０とノイズ除去フィルタ部２４０と要素データベース２５０を含み構成されている。
ノイズ除去フィルタ部２４０は、カメラ群１０の１つ若しくは複数の画像について、ノイズ除去処理を実行するように構成される。
要素データベース２５０には、過去に類似要素探索部２１０によって抽出された多くの要素が記録されている。また、予め標準的に用いられる基準類似要素を保持する構成としてもよい。
要素データベース２５０は、類似要素探索部２１０から要素の登録を受けると共に、類似要素探索部２１０からの要求に応じて保持している要素を応答する。ここで用いられる要求には、例えば類似要素探索部２１０で行なわれた探索処理結果である類似要素を用いることができる。また、基準画像に含まれていた要素を用いてよい。
類似要素探索部２１０は、要素データベース２５０に要求した類似要素若しくは基準画像の要素の何れか又は両方に類似した要素を取得して、探索結果として画像合成部２２０に通知すればよい。
画像合成部２２０は、基準画像に含まれていた要素について、類似要素探索部２１０で抽出された類似要素と共に要素データベース２５０から取得された要素を用いて合成処理を実行する。
この構成によれば、ノイズ除去後の画像を用いて良好な類似探索処理を実行でき、加えて、多数の高類似度の類似要素を用いて、より高機能的な画像合成を得ることが可能になる。
［他の実施形態］
また、図７に示すように外部データベースを利用できるように通信部を設ける構成としてもよい。この外部データベースには、過去に蓄積された様々な画像や抽出要素が蓄積されており、所要な目的に適宜利用する。
また、図８に示すように外部から探索範囲選択信号を受け付ける構成としてもよい。なお、画像処理部は、探索範囲選択信号を受け付けて、基準画像、参照画像、若しくは合成画像に対して、探索範囲の指定を受け付け得る構成とすれば良い。また、同時的に複数（複数個所、複数範囲、複数対象）を選択されるように構成してもよい。画像処理部は、指定された画像範囲内と対応する他画像の範囲内について探索して、所望画像に合成処理すればよい。
また、図９に示すように要素形状適応部を設ける構成としてもよい。要素形状適応部では、基準画像及び／又は参照画像に対して画像特徴に基づいて同一要素を識別処理し、この識別処理で判別した同一要素を一つの基準として以後の要素抽出処理の粗さを適応的に決定するように構成してもよい。また、他の多眼撮像装置で合成された合成映像を入力として様々な映像強化を多段階で行えるように構成してもよい。
このように多眼撮像システムを構成することによって、複数の撮像素子を用いて所要な画像合成を実施する際に、独立配置された個々の撮像素子から得られた各画像に描写されていた同一と見做せる対象部分の画像要素（群）を自動収集して画像補強を実行することが可能になる。この際に、同一と見做せる対象部分は必ずしも同一対象を被写体として捉えている必要は無く、要素として類似していれば有益に働く。より具体的な例を挙げれば、鮮明画像を得る際に、ある対象の前後の映像を２台のカメラで撮像すれば、対象の前後にある類似部分が利用されて該当部分の鮮明画像が得られる。また、動物の群れを数箇所で捉えれば、基準画像に描写されている個体が他のカメラ（参照画像）から得られた別の個体の類似部分を利用されて鮮明化される。また、所定部分を強調表示する例では、高速道路の望遠映像を基準画像として、小さく描写されている車両の画素範囲及びその周囲に、推定されたナンバープレートと運転者の顔映像が生成される。また、（帽子や光源などにより）陰影で隠れた人物の顔の正確な陰影をハイダイナミックレンジ合成画像やマルチスペクトル合成画像として取得し得る。多眼撮像システムは、これらの処理をリアルタイム処理で実行すれば、基準画像として動画像を用いて、その動画像のフレームレートを維持した強化動画像を出力可能となる。
即ち、本発明によれば、複数の撮像素子を用いて所要な画像合成を実施する際に、各画像に存在した画像要素から画像補強を実行することにより基準画像をより機能的画像に変換する多眼撮像システムを提供できる。
なお、多眼撮像システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアで実現する形態では各部の全て又は一部をＬＳＩ上に回路構築すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、全て又は一部の手段として機能させる。例えば、類似要素探索部又は画像合成部の一方をＬＳＩ上に回路構築して、他をプログラムに則して動作する制御部に行わせるように構成されてもよい。また、このプログラムは、記録媒体に固定的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
本発明の具体的な構成は前述の実施形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替え、各実施形態の組み合わせなど、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
独立配置可能に構成された複数の撮像部と、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得すると共に、前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理する類似要素探索部と、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する画像合成部と、
を含み成ることを特徴とする多眼撮像システム。
［付記２］
前記類似要素探索部は、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記３］
前記類似要素探索部は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して要素として抽出する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記４］
前記類似要素探索部は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して抽出すると共に、該対象の一部に該当する要素を、部分認識処理及び／又はパッチ抽出処理を実行して抽出することを特徴とする上記付記記載の多眼撮像システム。
［付記５］
前記複数の撮像部は、他の前記撮像部の画像出力と同期処理を行わずに画像出力のフレームレートを個々に設定可能であり、
前記類似要素探索部は、前記複数の撮像部毎に各々のフレームレートで前記基準画像と前記参照画像とを取得すると共に、それぞれのフレームレートに合わせた要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記６］
前記類似要素探索部は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理して、該対応する画像のみについて要素抽出処理を実行して類似要素を抽出する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記７］
前記類似要素探索部は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理すると共に、該対応した画像に所定枚数の関連画像を加えて合成した画像について要素抽出処理を実行して類似要素を抽出することを特徴とする上記付記記載の多眼撮像システム。
［付記８］
前記類似要素探索部は、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とする上記付記記載の多眼撮像システム。
［付記９］
前記類似要素探索部は、前記画像種別として、前記撮像部毎の撮像スペクトル範囲若しくはカメラ種別に対応させることを特徴とする上記付記記載の多眼撮像システム。
［付記１０］
前記類似要素探索部は、前記画像種別として、前記解像度に対応することを特徴とする上記付記記載の多眼撮像システム。
［付記１１］
前記類似要素探索部は、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とする上記付記記載の多眼撮像システム。
［付記１２］
要素を蓄積保存する要素データベースを更に有し、
前記類似要素探索部は、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１３］
要素群を予め蓄積保存する外部要素データベースと通信可能にする通信部を更に有し、
前記類似要素探索部は、前記基準画像及び／又は前記参照画像から得られた要素に類似する要素を相似要素として前記外部要素データベースから選定処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素外部データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１４］
前記画像合成部は、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１５］
前記類似要素探索部は、探索範囲選択信号として、前記基準画像、前記参照画像、若しくは前記合成画像に対して成された１ないし複数の画像範囲の指定を受けて、該範囲及び該範囲に対応する前記基準画像の画像内及び／又は前記参照画像の画像内と識別された対応画像範囲内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索し、
前記画像合成部は、前記基準画像の識別された対応画像範囲内に含まれていた少なくとも１つの要素について、前記類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１６］
前記基準画像及び／又は前記参照画像に対して画像特徴に基づいて同一要素を識別処理すると共に、該識別処理で判別した同一要素を基準に以後の要素抽出処理の粗さを適応的に決定する要素形状適応部を更に有する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１７］
前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させる基準画像選択部を更に有する
ことを特徴とする上記付記記載の多眼撮像システム。
［付記１８］
前記複数の撮像部から得られる１ないし全ての画像について、ノイズ除去処理を実行するノイズ除去フィルタ部を更に有することを特徴とする上記付記記載の多眼撮像システム。
［付記１９］
前記基準画像として動画像を取得すると共に、前記類似要素探索部、及び前記画像合成部は、前記動画像の入力フレームレートを維持するリアルタイム処理で前記動画像を強化動画像に合成して出力することを特徴とする上記付記記載の多眼撮像システム。
［付記２０］
前記類似要素探索部と前記画像合成部との少なくとも一方をＬＳＩに構築された回路網で実現されたことを特徴とする上記付記記載の多眼撮像システム。
［付記２１］
ＲＡＭに展開されたプログラムに基づいて動作する制御部を、前記類似要素探索部と前記画像合成部の少なくとも一方として動作させることで実現されたことを特徴とする上記付記記載の多眼撮像システム。
［付記２２］
独立配置可能に構成され得る複数の撮像部に含まれる少なくとも一の撮像部と前記複数の撮像部に含まれる他の撮像部とから、基準画像と参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理し、
合成処理した前記所望画像を出力する
ことを特徴とする複数の撮像部による取得画像の合成処理方法。
［付記２３］
前記探索処理は、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記２４］
前記探索処理は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して要素として抽出することを特徴とする上記付記記載の合成処理方法。
［付記２５］
前記探索処理は、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して抽出すると共に、該対象の一部に該当する要素を、部分認識処理及び／又はパッチ抽出処理を実行して抽出することを特徴とする上記付記記載の合成処理方法。
［付記２６］
前記複数の撮像部は、他の前記撮像部の画像出力と同期処理を行わずに画像出力のフレームレートを個々に設定可能であり、
前記探索処理は、前記複数の撮像部毎に各々のフレームレートで前記基準画像と前記参照画像とを取得すると共に、それぞれのフレームレートに合わせた要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記２７］
前記探索処理は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理して、該対応する画像のみについて要素抽出処理を実行して類似要素を抽出することを特徴とする上記付記記載の合成処理方法。
［付記２８］
前記探索処理は、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理すると共に、該対応した画像に所定枚数の関連画像を加えて合成した画像について要素抽出処理を実行して類似要素を抽出することを特徴とする上記付記記載の合成処理方法。
［付記２９］
前記探索処理は、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とする上記付記記載の合成処理方法。
［付記３０］
前記探索処理は、前記画像種別として、前記撮像部毎の撮像スペクトル範囲若しくはカメラ種別に対応させることを特徴とする上記付記記載の合成処理方法。
［付記３１］
前記探索処理は、前記画像種別として、前記解像度に対応することを特徴とする上記付記記載の合成処理方法。
［付記３２］
前記探索処理は、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記３３］
要素を蓄積保存する要素データベースを更に有し、
前記探索処理は、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記合成処理は、前記基準画像に含まれていた少なくとも１つの要素について、前記探索処理で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成する
ことを特徴とする上記付記記載の合成処理方法。
［付記３４］
要素群を予め蓄積保存する外部要素データベースと通信可能にする通信部を更に有し、
前記探索処理は、前記基準画像及び／又は前記参照画像から得られた要素に類似する要素を相似要素として前記外部要素データベースから選定処理し、
前記合成処理は、前記基準画像に含まれていた少なくとも１つの要素について、前記探索処理で抽出した類似要素及び／又は前記要素外部データベースから取得した相似要素を参照しながら、所望画像に合成する
ことを特徴とする上記付記記載の合成処理方法。
［付記３５］
前記合成処理は、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ことを特徴とする上記付記記載の合成処理方法。
［付記３６］
前記探索処理は、探索範囲選択信号として、前記基準画像、前記参照画像、若しくは前記合成画像に対して成された１ないし複数の画像範囲の指定を受けて、該範囲及び該範囲に対応する前記基準画像の画像内及び／又は前記参照画像の画像内と識別された対応画像範囲内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索し、
前記合成処理は、前記基準画像の識別された対応画像範囲内に含まれていた少なくとも１つの要素について、前記類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ことを特徴とする上記付記記載の合成処理方法。
［付記３７］
前記基準画像及び／又は前記参照画像に対して画像特徴に基づいて同一要素を識別処理すると共に、該識別処理で判別した同一要素を基準に以後の要素抽出処理の粗さを適応的に決定することを特徴とする上記付記記載の合成処理方法。
［付記３８］
前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させることを特徴とする上記付記記載の合成処理方法。
［付記３９］
前記複数の撮像部から得られる１ないし全ての画像について、探索処理前に、ノイズ除去処理を実行することを特徴とする上記付記記載の多眼撮像システム。
［付記４０］
前記基準画像として動画像を取得すると共に、前記探索処理、及び前記合成処理は、前記動画像の入力フレームレートを維持するリアルタイム処理で前記動画像を強化動画像に合成して出力することを特徴とする上記付記記載の合成処理方法。
［付記４１］
前記探索処理と前記合成処理との少なくとも一方をＬＳＩに構築された回路網で実行して成ることを特徴とする上記付記記載の合成処理方法。
［付記４２］
ＲＡＭに展開されたプログラムに基づいて動作する制御部に、前記探索処理と前記合成処理の少なくとも一方を動作させて成ることを特徴とする上記付記記載の合成処理方法。
［付記４３］
複数の撮像部から出力を受け付ける情報処理装置の制御部を、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ように動作させることを特徴とするプログラム。
［付記４４］
複数の撮像部から出力を受け付ける情報処理装置の制御部を、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
その探索結果を、ＬＳＩに構築された画像合成部に受け渡す
ように動作させることを特徴とするプログラム。
［付記４５］
情報処理装置の制御部を、ＬＳＩに構築された類似要素探索部から、その探索結果を受け付けて、基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力するように動作させることを特徴とするプログラム。
［付記４６］
前記類似要素探索部を、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記４７］
前記類似要素探索部を、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して要素として抽出する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記４８］
前記類似要素探索部を、前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像中に描写されていた対象を、画像に対する特徴解析による物体認識処理を実行して抽出すると共に、該対象の一部に該当する要素を、部分認識処理及び／又はパッチ抽出処理を実行して抽出するように動作させることを特徴とする上記付記記載のプログラム。
［付記４９］
画像出力のフレームレートが個々に設定されている前記複数の撮像部から出力を受け付けて、
前記類似要素探索部を、前記複数の撮像部毎に各々のフレームレートで前記基準画像と前記参照画像とを取得すると共に、それぞれのフレームレートに合わせた要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５０］
前記類似要素探索部を、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理して、該対応する画像のみについて要素抽出処理を実行して類似要素を抽出するように動作させることを特徴とする上記付記記載のプログラム。
［付記５１］
前記類似要素探索部を、個々の撮像部から前記参照画像として取得されている連続した画像内から、前記基準画像として取得された画像の取得タイミングに対応した１ないし複数の画像を選択処理すると共に、該対応した画像に所定枚数の関連画像を加えて合成した画像について要素抽出処理を実行して類似要素を抽出するように動作させることを特徴とする上記付記記載のプログラム。
［付記５２］
前記類似要素探索部を、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理するように動作させることを特徴とする上記付記記載のプログラム。
［付記５３］
前記類似要素探索部を、前記画像種別として、前記撮像部毎の撮像スペクトル範囲若しくはカメラ種別に対応させて処理動作を変更するように動作させることを特徴とする上記付記記載のプログラム。
［付記５４］
前記類似要素探索部を、前記画像種別として、前記解像度に対応させて処理動作を変更するように動作させることを特徴とする上記付記記載のプログラム。
［付記５５］
前記類似要素探索部を、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理することを特徴とするように動作させる上記付記記載のプログラム。
［付記５６］
要素を蓄積保存する要素データベースを利用して、
前記類似要素探索部を、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５７］
要素群を予め蓄積保存する外部要素データベースと通信可能にする通信部を利用して、
前記類似要素探索部を、前記基準画像及び／又は前記参照画像から得られた要素に類似する要素を相似要素として前記外部要素データベースから選定処理し、
前記画像合成部を、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素外部データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５８］
前記画像合成部を、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記５９］
前記類似要素探索部を、探索範囲選択信号として、前記基準画像、前記参照画像、若しくは前記合成画像に対して成された１ないし複数の画像範囲の指定を受けて、該範囲及び該範囲に対応する前記基準画像の画像内及び／又は前記参照画像の画像内と識別された対応画像範囲内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索し、
前記画像合成部を、前記基準画像の識別された対応画像範囲内に含まれていた少なくとも１つの要素について、前記類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ように動作させることを特徴とする上記付記記載のプログラム。
［付記６０］
前記制御部を、前記基準画像及び／又は前記参照画像に対して画像特徴に基づいて同一要素を識別処理すると共に、該識別処理で判別した同一要素を基準に以後の要素抽出処理の粗さを適応的に決定する要素形状適応部として更に動作させることを特徴とする上記付記記載のプログラム。
［付記６１］
前記制御部を、前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させる基準画像選択部として更に動作させることを特徴とする上記付記記載のプログラム。
［付記６２］
前記制御部を、前記複数の撮像部から得られる１ないし全ての画像について、ノイズ除去処理を実行するノイズ除去フィルタ部として更に動作させることを特徴とする上記付記記載のプログラム。
［付記６３］
前記基準画像として動画像を取得させると共に、前記類似要素探索部、及び前記画像合成部を、前記動画像の入力フレームレートを維持するリアルタイム処理で前記動画像を強化動画像に合成して出力させることを特徴とする上記付記記載のプログラム。
１、２、３、４、５、６ 多眼撮像システム
１０ カメラ群（複数の撮像部、複数の撮像手段）
２０ 多眼撮像装置
２１０ 類似要素探索部
２２０ 画像合成部
２３０ 基準画像選択部
２４０ ノイズ除去フィルタ部
２５０ 要素データベース
２６０ 通信部
２７０ 要素外部データベース
２８０ 要素形状適応部
この出願は、２０１３年５月２９日に出願された日本出願特願第２０１３−１１２４５３号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
１０ カメラ群（複数の撮像部、複数の撮像手段）
２０ 多眼撮像装置
２１０ 類似要素探索部
２２０ 画像合成部
２３０ 基準画像選択部
２４０ ノイズ除去フィルタ部
２５０ 要素データベース
２６０ 通信部
２７０ 要素外部データベース
２８０ 要素形状適応部
この出願は、２０１３年５月２９日に出願された日本出願特願第２０１３−１１２４５３号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
Claims (16)
- 独立配置可能に構成された複数の撮像部と、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得すると共に、前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理する類似要素探索部と、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する画像合成部と、
を含み成ることを特徴とする多眼撮像システム。 - 前記類似要素探索部は、
前記複数の撮像部から取得した前記基準画像と前記参照画像とについて、個々の画像内に含まれていた１ないし複数の要素を抽出する要素抽出処理として、取得された画像それぞれを任意の画素範囲毎に区切った要素となる複数のパッチを取得すると共に、
前記基準画像内に含まれていた要素毎に前記参照画像から取得された要素である前記複数のパッチ内から要素毎の相似性に基づいた類似要素を探索処理する
ことを特徴とする請求項１に記載の多眼撮像システム。 - 前記類似要素探索部は、前記参照画像毎に各々の画像種別に合った要素抽出処理により個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする請求項１又は２に記載の多眼撮像システム。 - 前記類似要素探索部は、前記参照画像毎に、前記基準画像に行う要素抽出処理に揃えた要素抽出処理を用いて、個々の画像内に含まれていた要素を抽出して、前記基準画像内に含まれていた要素毎の類似要素を探索処理する
ことを特徴とする請求項１ないし３の何れか一項に記載の多眼撮像システム。 - 要素を蓄積保存する要素データベースを更に有し、
前記類似要素探索部は、抽出した要素を前記要素データベースに記録すると共に、前記類似要素に類似する要素を前記要素データベースから相似要素として探索処理し、
前記画像合成部は、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素及び／又は前記要素データベースから取得した相似要素を参照しながら、所望画像に合成処理する
ことを特徴とする請求項１ないし４の何れか一項に記載の多眼撮像システム。 - 前記画像合成部は、前記参照画像から得た類似要素について予め定められた類似度の評価基準に則して画像合成に用いるか否かを判別処理すると共に、該判別処理に基づいて採用された類似要素を参照しながら、前記基準画像に含まれていた少なくとも１つの要素について所望画像に合成処理する
ことを特徴とする請求項１ないし５の何れか一項に記載の多眼撮像システム。 - 前記複数の撮像部に含まれている任意の撮像部を基準画像を得る撮像手段として選択されることにより、前記複数の撮像部に含まれる他の撮像部を参照画像を得る撮像手段として動作させる基準画像選択部を更に有する
ことを特徴とする請求項１ないし６の何れか一項に記載の多眼撮像システム。 - 前記基準画像と前記参照画像とを取得した後に、該基準画像と該参照画像の少なくとも一の画像にプレフィルタリング処理を実施し、プレフィルタリング処理に付された画像を含む前記基準画像と前記参照画像を参照して、前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理するプレフィルタ部を更に有することを特徴とする請求項１ないし７の何れか一項に記載の多眼撮像システム。
- 更に、前記基準画像と前記参照画像とを取得した後に、該基準画像と該参照画像から抽出された少なくとも一のパッチにプレフィルタリング処理を実施し、プレフィルタリング処理に付されたパッチを参照して、前記基準画像内に含まれていたパッチ毎に前記参照画像内に含まれていた類似パッチを探索処理するプレフィルタ部を更に有することを特徴とする請求項１ないし８の何れか一項に記載の多眼撮像システム。
- 前記画像合成部は、
参照画像内に含まれていた類似要素を画像合成処理に用いる前に、類似度重みの値が大きい上位所定数以外の抽出要素に対して類似度重みを低く設定する閾値を有した類似度重み関数を用いて選定し、
前記基準画像に含まれていた少なくとも１つの要素について、選定された類似要素を参照しながら、画像合成処理を実行する
ことを特徴とする請求項１ないし９の何れか一項に記載の多眼撮像システム。 - 前記類似要素探索部と前記画像合成部との少なくとも一方をＬＳＩに構築された回路網で実現されたことを特徴とする請求項１ないし８の何れか一項に記載の多眼撮像システム。
- ＲＡＭに展開されたプログラムに基づいて動作する制御部を、前記類似要素探索部と前記画像合成部の少なくとも一方として動作させることで実現されたことを特徴とする請求項１ないし８の何れか一項に記載の多眼撮像システム。
- 独立配置可能に構成され得る複数の撮像部に含まれる少なくとも一の撮像部と前記複数の撮像部に含まれる他の撮像部とから、基準画像と参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理し、
合成処理した前記所望画像を出力する
ことを特徴とする複数の撮像部による取得画像の合成処理方法。 - 複数の撮像部から出力を受け付ける情報処理装置の制御部を、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ように動作させることを特徴とするプログラム。 - 複数の撮像部から出力を受け付ける情報処理装置の制御部を、
前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得し、
前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理し、
ＬＳＩに構築された、前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する画像合成部に受け渡す
ように動作させることを特徴とするプログラム。 - 情報処理装置の制御部を、
ＬＳＩに構築され、独立配置可能に構成され得る複数の撮像部と接続された、前記複数の撮像部に含まれる少なくとも一の撮像部から出力された基準画像と前記複数の撮像部に含まれる他の撮像部から出力された参照画像とを取得とを取得すると共に、前記基準画像内に含まれていた要素毎に前記参照画像内に含まれていた類似要素を探索処理する類似要素探索部から、その探索結果を受け付けて、
前記基準画像に含まれていた少なくとも１つの要素について、前記類似要素探索部で抽出した類似要素を参照しながら、所望画像に合成処理して合成画像として出力する
ように動作させることを特徴とするプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013112453 | 2013-05-29 | ||
| JP2013112453 | 2013-05-29 | ||
| PCT/JP2014/061927 WO2014192487A1 (ja) | 2013-05-29 | 2014-04-22 | 多眼撮像システム、取得画像の合成処理方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2014192487A1 true JPWO2014192487A1 (ja) | 2017-02-23 |
| JP6376474B2 JP6376474B2 (ja) | 2018-08-22 |
Family
ID=51988525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015519751A Active JP6376474B2 (ja) | 2013-05-29 | 2014-04-22 | 多眼撮像システム、取得画像の合成処理方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9741143B2 (ja) |
| JP (1) | JP6376474B2 (ja) |
| WO (1) | WO2014192487A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6443540B2 (ja) * | 2014-09-03 | 2018-12-26 | 日本電気株式会社 | 画像処理装置、画像処理方法および記憶媒体 |
| US9830727B2 (en) * | 2015-07-30 | 2017-11-28 | Google Inc. | Personalizing image capture |
| CN106254772B (zh) * | 2016-07-29 | 2017-11-07 | 广东欧珀移动通信有限公司 | 多帧图像合成方法和装置 |
| WO2018084069A1 (ja) * | 2016-11-07 | 2018-05-11 | 日本電気株式会社 | 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 |
| US10334141B2 (en) * | 2017-05-25 | 2019-06-25 | Denso International America, Inc. | Vehicle camera system |
| JP7076131B2 (ja) | 2018-03-23 | 2022-05-27 | カムイ・イノベーション株式会社 | 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 |
| US11481541B2 (en) | 2019-12-05 | 2022-10-25 | Netflix, Inc. | Techniques for comparing the compression efficiency of encoding configurations |
| CN111787341B (zh) * | 2020-05-29 | 2023-12-05 | 北京京东尚科信息技术有限公司 | 导播方法、装置及*** |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11223516A (ja) * | 1998-02-09 | 1999-08-17 | Fuji Xerox Co Ltd | ３次元画像撮像装置 |
| JP2003099760A (ja) * | 2001-08-10 | 2003-04-04 | Stmicroelectronics Inc | マルチプレーンステレオ及び空間伝播を使用して奥行を復元する方法及び装置 |
| JP2006105661A (ja) * | 2004-10-01 | 2006-04-20 | Omron Corp | ステレオ画像による平面推定方法 |
| JP2008033818A (ja) * | 2006-07-31 | 2008-02-14 | Omron Corp | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 |
| JP2008090601A (ja) * | 2006-10-02 | 2008-04-17 | Konica Minolta Holdings Inc | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
| JP2009187316A (ja) * | 2008-02-06 | 2009-08-20 | Konica Minolta Holdings Inc | 対応点探索装置および該方法 |
| JP2009205193A (ja) * | 2008-02-26 | 2009-09-10 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| JP2009293971A (ja) * | 2008-06-03 | 2009-12-17 | Fujifilm Corp | 距離測定装置および方法並びにプログラム |
| JP2012029199A (ja) * | 2010-07-27 | 2012-02-09 | Sharp Corp | 立体撮像装置およびその撮像方法 |
| JP2012253706A (ja) * | 2011-06-07 | 2012-12-20 | Konica Minolta Holdings Inc | 画像処理装置、そのプログラム、画像処理システム、および画像処理方法 |
| WO2012176556A1 (ja) * | 2011-06-24 | 2012-12-27 | コニカミノルタホールディングス株式会社 | 対応点探索装置、および距離測定装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3242529B2 (ja) | 1994-06-07 | 2001-12-25 | 松下通信工業株式会社 | ステレオ画像対応付け方法およびステレオ画像視差計測方法 |
| EP2416292A4 (en) * | 2009-03-31 | 2014-09-03 | Konica Minolta Holdings Inc | IMAGE INTEGRATION UNIT AND IMAGE INTEGRATION PROCESS |
| WO2011036892A1 (ja) * | 2009-09-24 | 2011-03-31 | パナソニック株式会社 | 運転支援表示装置 |
| JP5445235B2 (ja) | 2010-03-09 | 2014-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5602530B2 (ja) | 2010-07-29 | 2014-10-08 | 日立Ｇｅニュークリア・エナジー株式会社 | 目視検査装置及び目視検査用映像の作成方法 |
| JP4939639B2 (ja) | 2010-09-28 | 2012-05-30 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
| JP5654867B2 (ja) | 2010-12-27 | 2015-01-14 | パナソニックＩｐマネジメント株式会社 | 映像信号処理装置及び映像信号処理方法 |
| JP2012222471A (ja) | 2011-04-05 | 2012-11-12 | Sharp Corp | 多眼撮像装置および多眼撮像方法、携帯情報端末装置 |
| JP5567235B2 (ja) * | 2012-03-30 | 2014-08-06 | 富士フイルム株式会社 | 画像処理装置、撮影装置、プログラム及び画像処理方法 |
| US8882662B2 (en) * | 2012-06-27 | 2014-11-11 | Camplex, Inc. | Interface for viewing video from cameras on a surgical visualization system |
| FR3013488B1 (fr) * | 2013-11-18 | 2017-04-21 | Univ De Nice (Uns) | Procede d'estimation de la vitesse de deplacement d'une camera |
-
2014
- 2014-04-22 WO PCT/JP2014/061927 patent/WO2014192487A1/ja active Application Filing
- 2014-04-22 JP JP2015519751A patent/JP6376474B2/ja active Active
- 2014-04-22 US US14/893,484 patent/US9741143B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11223516A (ja) * | 1998-02-09 | 1999-08-17 | Fuji Xerox Co Ltd | ３次元画像撮像装置 |
| JP2003099760A (ja) * | 2001-08-10 | 2003-04-04 | Stmicroelectronics Inc | マルチプレーンステレオ及び空間伝播を使用して奥行を復元する方法及び装置 |
| JP2006105661A (ja) * | 2004-10-01 | 2006-04-20 | Omron Corp | ステレオ画像による平面推定方法 |
| JP2008033818A (ja) * | 2006-07-31 | 2008-02-14 | Omron Corp | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 |
| JP2008090601A (ja) * | 2006-10-02 | 2008-04-17 | Konica Minolta Holdings Inc | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
| JP2009187316A (ja) * | 2008-02-06 | 2009-08-20 | Konica Minolta Holdings Inc | 対応点探索装置および該方法 |
| JP2009205193A (ja) * | 2008-02-26 | 2009-09-10 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| JP2009293971A (ja) * | 2008-06-03 | 2009-12-17 | Fujifilm Corp | 距離測定装置および方法並びにプログラム |
| JP2012029199A (ja) * | 2010-07-27 | 2012-02-09 | Sharp Corp | 立体撮像装置およびその撮像方法 |
| JP2012253706A (ja) * | 2011-06-07 | 2012-12-20 | Konica Minolta Holdings Inc | 画像処理装置、そのプログラム、画像処理システム、および画像処理方法 |
| WO2012176556A1 (ja) * | 2011-06-24 | 2012-12-27 | コニカミノルタホールディングス株式会社 | 対応点探索装置、および距離測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160098852A1 (en) | 2016-04-07 |
| JP6376474B2 (ja) | 2018-08-22 |
| US9741143B2 (en) | 2017-08-22 |
| WO2014192487A1 (ja) | 2014-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6376474B2 (ja) | 多眼撮像システム、取得画像の合成処理方法、及びプログラム | |
| EP3236391B1 (en) | Object detection and recognition under out of focus conditions | |
| JP5725975B2 (ja) | 撮像装置及び撮像方法 | |
| CN112288663A (zh) | 一种红外与可见光图像融合方法及*** | |
| CN104270560B (zh) | 一种多点对焦方法和装置 | |
| JP5127067B2 (ja) | 画像検索装置及び画像検索方法 | |
| WO2014044126A1 (zh) | 坐标获取装置、实时三维重建***和方法、立体交互设备 | |
| JP6320075B2 (ja) | 画像処理装置およびその制御方法 | |
| CN109712192A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| US9323989B2 (en) | Tracking device | |
| JP2017038162A (ja) | 撮像装置及び画像処理方法、プログラム、並びに記憶媒体 | |
| TWI394085B (zh) | 辨識被攝主體之維度形態的方法 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR101994473B1 (ko) | 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램 | |
| KR20220121533A (ko) | 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치 | |
| JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| JP2016197302A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2010175966A (ja) | 画像処理装置及び撮像装置 | |
| JP2014116789A (ja) | 撮影装置、その制御方法及びプログラム | |
| JP6780748B2 (ja) | 画像処理装置、及び画像処理プログラム | |
| JP6566091B2 (ja) | 画像生成装置、及び画像検索装置 | |
| CN111382607A (zh) | 活体检测方法、装置及人脸认证*** | |
| JP6361228B2 (ja) | 画像生成装置、及び画像生成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6376474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |