JP6932895B1 - 画像処理装置、撮像装置、移動体、プログラム及び方法 - Google Patents
画像処理装置、撮像装置、移動体、プログラム及び方法 Download PDFInfo
- Publication number
- JP6932895B1 JP6932895B1 JP2020088435A JP2020088435A JP6932895B1 JP 6932895 B1 JP6932895 B1 JP 6932895B1 JP 2020088435 A JP2020088435 A JP 2020088435A JP 2020088435 A JP2020088435 A JP 2020088435A JP 6932895 B1 JP6932895 B1 JP 6932895B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- flicker
- images
- reduced
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000015654 memory Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 238000005286 illumination Methods 0.000 description 12
- 230000009467 reduction Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】動画におけるフリッカ成分を低減するための処理量を削減した画像処理装置、撮像装置、移動体、プログラム及び方法を提供する。【解決手段】画像処理装置は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成し、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成する。そして、第2の画像の画素数を増加させることにより第3の画像を生成し、第1の画像と第1の画像の低空間周波数成分画像との間の差分画像を生成して、第3の画像と差分画像との加算により、第1の画像に対応する出力画像を生成する。【選択図】図6
Description
本発明は、画像処理装置、撮像装置、移動体、プログラム及び方法に関する。
特許文献1には、撮像素子から得られる映像信号に生じる蛍光灯フリッカを低減する技術が記載されている。特許文献2には、周囲のフリッカー光源を検出し、検出されたフリッカーの周期と位相とに基づいてフリッカーの影響を低減させる撮影を行うことが記載されている。
[先行技術文献]
[特許文献]
[特許文献1]特開2004−222228号公報
[特許文献2]特開2016−86206号公報
[先行技術文献]
[特許文献]
[特許文献1]特開2004−222228号公報
[特許文献2]特開2016−86206号公報
本発明の第1の形態に係る画像処理装置は、動画に対してフリッカを低減する画像処理を行うように構成された回路を備える。回路は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成するように構成される。回路は、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成するように構成される。回路は、第2の画像の画素数を増加させることにより第3の画像を生成するように構成される。回路は、第1の画像と第1の画像の低空間周波数成分画像との間の差分画像を生成するように構成される。回路は、第3の画像と差分画像との加算により、第1の画像に対応する出力画像を生成するように構成される。
回路は、第1の画像の画素数を減少させることによって生成された第1の縮小画像の画素数を増加させることにより、第3の画像を生成するように構成されてよい。
回路は、動画から検出されるフリッカ成分の大きさが予め定められた値を超える場合に、フリッカを低減する画像処理を行うように構成されてよい。
回路は、複数の縮小画像からフリッカ成分を検出するように構成されてよい。回路は、複数の縮小画像から検出したフリッカ成分の大きさが予め定められた値を超える場合に、複数の画像のそれぞれについてフリッカを低減する画像処理を行うように構成されてよい。
回路は、予め定められた値より大きい高周波成分が検出された領域にフリッカを低減する画像処理を行うように構成されてよい。
回路は、動画における動き量が予め定められた値を下回る場合に、フリッカを低減する画像処理を行うように構成されてよい。
回路は、動画にガンマ補正が施されている場合に、複数の縮小画像を互いに異なる重みで加算した画像を用いて、第2の画像を生成するように構成されてよい。
回路は、動画の色空間形式がYUV形式である場合に、動画のY信号のみにフリッカを低減する画像処理を行うように構成されてよい。
本発明の第2の態様に係る撮像装置は、上記の画像処理装置と、動画を生成するイメージセンサとを備える。
本発明の第3の態様に係る移動体は、上記の撮像装置を備えて移動する。
移動体は、無人航空機であってよい。
本発明の第4の態様に係るプログラムは、コンピュータに、動画に対してフリッカを低減する画像処理を行わせる。プログラムは、コンピュータに、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成させる。プログラムは、コンピュータに、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成させる。プログラムは、コンピュータに、第2の画像の画素数を増加させることにより第3の画像を生成させる。プログラムは、コンピュータに、第1の画像と第1の画像の低空間周波数成分画像との間の差分画像を生成させる。プログラムは、コンピュータに、第3の画像と差分画像との加算により、第1の画像に対応する出力画像を生成させる。プログラムは、非一時的記録媒体に記録されてよい。
本発明の第5の態様に係る方法は、動画に対してフリッカを低減する画像処理を行う。方法は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成する段階を備える。方法は、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成する段階を備える。方法は、第2の画像の画素数を増加させることにより第3の画像を生成する段階を備える。方法は、第1の画像と第1の画像の低空間周波数成分画像との間の差分画像を生成する段階を備える。方法は、第3の画像と差分画像との加算により、第1の画像に対応する出力画像を生成する段階を備える。
本発明の上記の態様によれば、動画におけるフリッカ成分を低減するための処理量を削減することができる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等の様なメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD−ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、本実施形態に係る撮像装置100の外観斜視図の一例を示す図である。図2は、本実施形態に係る撮像装置100の機能ブロックを示す図である。
撮像装置100は、撮像部102、レンズ部200を備える。撮像部102は、イメージセンサ120、制御部110、メモリ130、指示部162、表示部160及び通信部170を有する。
イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、レンズ部200が有するレンズ210を介して光を受光する。イメージセンサ120は、レンズ210を介して結像された光学像の画像データを制御部110に出力する。
制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。制御部110は回路に対応する。メモリ130は、制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
指示部162は、撮像装置100に対する指示をユーザから受け付けるユーザインタフェースである。表示部160は、イメージセンサ120により撮像され、制御部110により処理された画像、撮像装置100の各種設定情報などを表示する。表示部160は、タッチパネルで構成されてよい。
制御部110は、レンズ部200及びイメージセンサ120を制御する。例えば、制御部110は、レンズ210の焦点の位置や焦点距離を制御する。制御部110は、ユーザからの指示を示す情報に基づいて、レンズ部200が備えるレンズ制御部220に制御命令を出力することにより、レンズ部200を制御する。
レンズ部200は、1以上のレンズ210、レンズ駆動部212、レンズ制御部220、及びメモリ222を有する。本実施形態において1以上のレンズ210のことを「レンズ210」と総称する。レンズ210は、フォーカスレンズ及びズームレンズを含んでよい。レンズ210が含むレンズのうちの少なくとも一部または全部は、レンズ210の光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズであってよい。
レンズ駆動部212は、レンズ210のうちの少なくとも一部または全部を、レンズ210の光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、レンズ210全体又はレンズ210が含むズームレンズやフォーカスレンズを光軸方向に沿って移動させることで、ズーム動作やフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令等である。
レンズ駆動部212は、複数のレンズ210の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ(VCM)を含んでよい。レンズ駆動部212は、DCモータ、コアレスモータ、または超音波モータ等の電動機を含んでよい。レンズ駆動部212は、電動機からの動力をカム環、ガイド軸等の機構部材を介して複数のレンズ210の少なくとも一部または全部に伝達して、レンズ210の少なくとも一部または全部を光軸に沿って移動させてよい。
メモリ222は、レンズ駆動部212を介して移動するフォーカスレンズやズームレンズ用の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
制御部110は、指示部162等を通じて取得したユーザの指示を示す情報に基づいて、イメージセンサ120に制御命令を出力することにより、イメージセンサ120に撮像動作の制御を含む制御を実行する。制御部110は、イメージセンサ120により撮像された画像を取得する。制御部110は、イメージセンサ120から取得した画像に画像処理を施してメモリ130に格納する。
通信部170は、外部との通信を担う。通信部170は、制御部110が生成した情報を通信ネットワークを通じて外部に送信する。通信部170は、通信ネットワークを通じて外部から受信した情報を制御部110に提供する。
制御部110が実行する画像処理の概要を説明する。制御部110は、動画に対してフリッカを低減する画像処理を行う。制御部110は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成する。制御部110は、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成する。制御部110は、第2の画像の画素数を増加させることにより第3の画像を生成する。制御部110は、第1の画像と第1の画像の低空間周波数成分画像との間の差分画像を生成する。制御部110は、第3の画像と差分画像との加算により、第1の画像に対応する出力画像を生成する。
制御部110は、第1の画像の画素数を減少させることによって生成された第1の縮小画像の画素数を増加させることにより、第3の画像を生成してよい。制御部110は、第1の縮小画像をアップサンプルすることにより、第3の画像を生成してよい。なお、制御部110は、第1の画像から低空間周波数成分を抽出することによって、低空間周波数成分画像を生成してもよい。
制御部110は、動画から検出されるフリッカ成分の大きさが予め定められた値を超える場合に、フリッカを低減する画像処理を行う。制御部110は、複数の縮小画像からフリッカ成分を検出してよい。制御部110は、複数の縮小画像から検出したフリッカ成分の大きさが予め定められた値を超える場合に、複数の画像のそれぞれについてフリッカを低減する画像処理を行ってよい。
制御部110は、予め定められた値より大きい高周波成分が検出された領域にフリッカを低減する画像処理を行ってよい。制御部110は、動画における動き量が予め定められた値を下回る場合に、フリッカを低減する画像処理を行ってよい。
制御部110は、動画にガンマ補正が施されている場合に、複数の縮小画像を互いに異なる重みで加算した画像を用いて、第2の画像を生成してよい。回路は、動画の色空間形式がYUV形式である場合に、動画のY信号のみにフリッカを低減する画像処理を行ってよい。
図3は、照明の輝度変化と露光期間の関係を概略的に示す。電源周波数が50Hzの電力によって非インバータ方式の照明を駆動すると、照明の輝度は図3に示すように1/100秒の周期で変化する。図3には、撮像部102が垂直同期信号に従って1/60秒のフレーム期間で動画撮影を行う場合の露光期間が示されている。図3に示されるように、フレームI1、フレームI2、フレームI3を撮像するための連続するフレーム期間の間で、照明の輝度変化に対してフレームの露光タイミングがずれる。これにより、連続するフレーム期間の間で1露光期間中の照明光の露光量が変化する。そのため、動画において明暗の変化が生じる現象(フリッカ現象)が生じる。
図3に示すように、照明の輝度変化の周期が1/100秒であり、フレーム期間が1/60秒である場合、照明の輝度変化に対する露光期間の開始タイミングの位相は3フレーム毎に同位相となる。例えば、照明の輝度変化に対して、フレームI1を撮像する露光期間の開始タイミングの位相は、3フレーム後のフレームI4を撮像する露光期間の開始タイミングの位相と同一である。そのため、照明光の露光量は3フレームごとに繰り返される。
1フレームをグローバルシャッタ方式で撮像する場合、フリッカによる明暗変化はフレーム間にのみ現れる。そのため、図3の例では、連続する3フレーム毎にフレームを重ね合わせて平均化することによって、照明光による明暗の変化を低減することができる。例えば、フレームI1、フレームI2、及びフレームI3を重ね合わせて平均化した出力フレームを生成し、フレームI4、フレームI5、及びフレームI6を重ね合わせて平均化した出力フレームを生成することによって、出力フレーム間における照明光による明暗の変化を低減するデフリッカ処理を行うことができる。なお、1フレームをローリングシャッタ方式で撮像する場合には、3フレームを重ね合わせによって得られる出力フレーム内に、縞模様状の輝度変化が生じる場合がある。この場合、上記の特許文献1に記載されたように、3フレームの重ね合わせ画像から輝度又は色成分のスペクトルを抽出し、抽出したスペクトルに基づいてフリッカ成分の振幅及び位相を特定することによって、フレームにおけるフリッカ成分を低減するデフリッカ処理を行うことができる。
しかし、デフリッカ処理の対象となるフレームの画素数が多くなるほど、複数のフレームの重ね合わせ処理を含むデフリッカ処理の実行に必要な処理量が増大する。また、フレームの重ね合わせ処理によって高域の空間周波数成分が小さくなるため、出力フレームにおける画像としての解像度が低下する場合がある。これに対し、本実施形態における撮像装置100において、制御部110は、イメージセンサ120によって生成される複数のフレームを縮小した縮小フレームに対して、デフリッカ処理を行う。これにより、デフリッカ処理の実行に必要な処理量の増大を抑制することができる。また、制御部110は、フレームから高域の空間周波数成分を抽出して、縮小フレーム画像と、イメージセンサ120によって生成された高域の空間周波数成分とを用いて、出力フレームを生成する。これにより、デフリッカ処理による解像度の低下を抑制することができる。
図4は、制御部110によるデフリッカ処理の流れを模式的に示す。前フレーム401、現フレーム402、及び次フレーム403は、動画を構成する画像である。前フレーム401、現フレーム402、及び次フレーム403は、イメージセンサ120により連続して生成され、制御部110のデフリッカ処理部に入力されるフレームである。前フレーム401、現フレーム402、及び次フレーム403はN×M個の画素数を持つ画像である。なお、「現フレーム」という名称は、連続する3個のフレームにおいて基準となるフレームであることを分かり易く示すためのものであり、「現在」であることを意味するものではない。また、「前フレーム」及び「次フレーム」の名称は、「現フレーム」に対する撮像順序を分かり易く示すためのものである。
制御部110は、前フレーム401をダウンサンプルすることにより、縮小フレーム411を生成する。制御部110は、現フレーム402をダウンサンプルすることにより、縮小フレーム412を生成する。また、制御部110は、次フレーム403をダウンサンプルすることにより、縮小フレーム413を生成する。縮小フレーム411、縮小フレーム412、及び縮小フレーム413は、N/2×M/2個の画素数を持つ画像である。
制御部110は、縮小フレーム411、縮小フレーム412、及び縮小フレーム413を用いてデフリッカ処理を行う。具体的には、図3等に関連して説明したように、縮小フレーム411、縮小フレーム412、及び縮小フレーム413を加算して平均化することによって得られたフレームを用いて、デフリッカ画像432を生成する。そして、制御部110は、デフリッカ画像432をアップサンプルすることによって、拡大画像442を生成する。拡大画像442は、N×Mの画素数を持つ画像である。
制御部110は、縮小フレーム412をアップサンプルすることによって、低域成分画像452を生成する。低域成分画像452は、N×M個の画素数を持つ画像である。低域成分画像452は、現フレーム402に対してダウンサンプル処理とアップサンプル処理を行うことによって得られる画像である。したがって、低域成分画像452は、現フレーム402における高域の空間周波数成分を低減した画像であるといえる。制御部110は、現フレーム402と低域成分画像452との差分により、高域成分画像462を生成する。高域成分画像462は、N×Mの画素数を持ち、現フレーム402から高域の空間周波数成分を抽出した画像であるといえる。
制御部110は、拡大画像442に高域成分画像462を加算することによって、出力フレーム470を生成する。出力フレーム470は、N×Mの画素数を持つ画像である。図4等に関連して説明したように、制御部110は、縮小フレーム411、縮小フレーム412、及び縮小フレーム413に対してデフリッカ処理を行うので、デフリッカ処理に必要な処理量の増大を抑制することができる。また、制御部110は、現フレーム402から抽出した高域成分画像を、拡大画像442に加算するので、フレームの重ね合わせによるデフリッカ処理によって生じる高域成分の低下量を抑制することができる。
図5は、制御部110におけるデフリッカ処理に係る画像処理を実行する画像処理部500のブロック構成を模式的に示す。ダウンサンプル部510は、前フレーム401をダウンサンプルすることにより、縮小フレーム411を生成する。ダウンサンプル部520は、現フレーム402をダウンサンプルすることにより、縮小フレーム412を生成する。ダウンサンプル部530は、次フレーム403をダウンサンプルすることにより、縮小フレーム413を生成する。ダウンサンプルは画素数を低減する処理である。ダウンサンプルとしては、注目画素の周辺画素の重み付け平均を算出する処理や、画素の間引き処理等を例示することができる。
デフリッカ部540は、縮小フレーム411、縮小フレーム412、及び縮小フレーム413に対してデフリッカ処理を行うことにより、デフリッカ画像432を生成する。アップサンプル部550は、デフリッカ画像432をアップサンプルすることによって、拡大画像442を生成する。アップサンプルは、画素数を増加させる処理である。アップサンプルとしては、隣接画素の画素値を用いる補間処理等を例示することができる。
アップサンプル部560は、ダウンサンプル部520によって生成された縮小フレーム412をアップサンプルすることにより、低域成分画像452を生成する。差分処理部570は、現フレーム402からアップサンプル部560が生成した低域成分画像452を画素毎に減算することにより、高域成分画像462を生成する。加算部580は、アップサンプル部550により生成された拡大画像442に、差分処理部570により生成された高域成分画像462を画素毎に加算することにより、出力フレーム470を生成する。画像処理部500は、連続する3個のフレームについて上述した処理を繰り返すことによって、動画においてフリッカ成分を低減する複数の出力フレームを生成する。
図6は、画像処理部500が実行する処理の流れを示すフローチャートを示す。S600において、ダウンサンプル部510、ダウンサンプル部520及びダウンサンプル部530は、それぞれ前フレーム401、現フレーム402及び次フレーム403をダウンサンプルすることにより、縮小フレーム411、縮小フレーム412、及び縮小フレーム413を生成する。
S600において、画像処理部500は、フリッカが生じているか否かを判断する。例えば、画像処理部500は、縮小フレーム411、縮小フレーム412及び縮小フレーム413からフリッカ成分を抽出する。具体的には、画像処理部500は、縮小フレーム411、縮小フレーム412及び縮小フレーム413を重ね合わせた画像を用いてスペクトルを抽出することによりフリッカ成分を抽出する。画像処理部500は、抽出したフリッカ成分の振幅が予め定められた値を超える場合にフリッカが生じていると判断し、フリッカ成分の振幅が予め定められた値を以下の場合にフリッカが生じていないと判断する。なお、画像処理部500は、上記特許文献2に記載されているフリッカ検出処理を、S600において生成した縮小フレームを用いて行ってもよい。これにより、フリッカ検出処理に必要な処理量を削減することができる。
フリッカが生じていないと判断した場合、S680において、画像処理部500は、現在フレームを出力フレームとして出力する。フリッカが生じていると判断した場合、S620において、画像処理部500は、複数の縮小フレーム411、縮小フレーム412及び縮小フレーム413を用いてデフリッカ処理を実行して、デフリッカ画像432を生成する。S630において、アップサンプル部550は、デフリッカ画像432をアップサンプルすることにより画素数を増加させて拡大画像442を生成する。
S640において、アップサンプル部560は、現フレーム402に対応する縮小フレーム412をアップサンプルすることにより画素数を増加させて、低域成分画像452を生成する。S650において、差分処理部570は、現フレーム402から低域成分画像452を減算することにより、高域成分画像462を生成する。S660において、加算部580は、S630で生成した拡大画像442に、S650で生成した高域成分画像462を加算することにより、出力フレーム470を生成する。S670において、フリッカ成分を低減した動画を構成するフレームとして、S660で生成した出力フレーム470を出力する。
なお、本フローチャートにおいて、フリッカの有無の検出を省略してもよい。例えば、画像処理部500は、S610におけるフリッカの検出処理を行うことなく、S620からS670の処理を実行してよい。また、画像処理部500は、動画における動き量が予め定められた値以上の場合には、上述したデフリッカ処理方法を行わなくてよい。動画における動き量は、撮像装置100のグローバルモーションであってよい。動画における動き量は、撮像装置100は、パン、ズーム、回転等であってよい。画像処理部500は、撮像装置100に設けられたジャイロセンサの検出値に基づいて動画における動き量を取得してよい。画像処理部500は、動画を構成する複数のフレームから動画における動き量を検出してよい。画像処理部500は、複数の縮小フレームから動画における動き量を検出してもよい。画像処理部500は、部分領域のみにデフリッカ処理を行ってよい。画像処理部500は、デフリッカ処理を行う場合に、予め定められた周波数より高い空間周波数成分が予め定められた値より大きい部分領域を選択して、選択した部分領域にデフリッカ処理を行い、選択した部分領域以外の領域には上述したデフリッカ処理を行わなくてよい。画像処理部500は、画像の全領域に対してデフリッカ処理を行うか否かを判断することなく、予め定められた周波数より高い空間周波数成分を予め定められた値より大きい部分領域が存在する場合に、当該部分領域に上述したデフリッカ処理を行ってもよい。
図7は、制御部110の動画データ生成ブロックの構成を模式的に示す。RAWデータは、イメージセンサ120で生成されて制御部110に順次に入力されるフレームの画像データを表す。RAWデータは、画素毎に予め定められた色成分の輝度値を持つ。メモリ部780は、画像処理部500における画像処理に必要な画像データを保持する。画像処理部500は、順次に入力されるRAWデータを縮小してメモリ部780に保持する。画像処理部500は、次フレーム403に対応するRAWデータから縮小フレーム413を生成すると、メモリ部780から前フレーム及び現フレームの縮小フレームを取得して、上述したデフリッカ処理を含む画像処理を行う。このように、画像処理部500は上述したデフリッカ処理をRAW空間において実行して、RAW形式の出力フレームを生成する。
YUV変換部710は、RAW形式の出力フレームにYUV変換処理を行って、YUVデータを生成する。YUV変換部710は、ガンマ補正を含むYUV変換処理を行う。このように、制御部110は、上述したデフリッカ処理をRAW空間において実行した後、YUV変換部710において画素値を非線形な画素値に変換する処理を行う。したがって、画像処理部500が処理する画素信号は、イメージセンサ120の画素信号に対し線形な強度を持つ画素信号となる。そのため、フリッカ成分をより適切に低減することができる。
図8は、制御部110の動画データ生成ブロックの他の構成を模式的に示す。YUV変換部810は、RAWデータに対しガンマ補正を含むYUV変換処理を行う。画像処理部800は、YUVデータに対して、デフリッカ処理を含む画像処理を実行する。画像処理部800は、Y信号、U信号、及びV信号のそれぞれについて、上述したデフリッカ処理を行うことによって、YUVデータを生成する。画像処理部800は、Y信号のみに対して、上述したデフリッカ処理を行うことによって、YUVデータを生成してもよい。YUVデータが4:2:0フォーマットである場合、図8に示す構成に基づくデフリッカ処理を行うことで、デフリッカ処理に必要となる処理量をより削減することができる。
なお、図8に示す構成では、画像処理部800に入力されるYUVデータは、ガンマ補正等の非線形処理が施されたデータとなる。そのため、複数のフレームを単純に重ね合わてもフリッカ成分を十分に低減することができない場合がある。そのため、画像処理部800は、入力される複数のフレームに対応するYUVデータを重み付け加算をすることにより重ね合わせる。画像処理部800は、画素信号の強度に応じた重み付け加算をすることにより複数のフレームのYUVデータを重ね合わせてよい。画像処理部800は、YUV変換部により実行されたガンマ補正の処理情報を考慮して、複数のフレームのYUVデータを重ね合わせる重み付け係数を決定してよい。これにより、画像処理部800の前段階で実行された非線形処理がデフリッカ処理に与える影響を低減することができる。
図9は、制御部110が実行する他のデフリッカ処理の流れを模式的に示す。図9に示す処理と図4に示す処理との相違点は、主として、動画を構成するフレームに対して2段階のダウンサンプルを行うところにある。そのため、図4等に関連して説明した処理と同様の処理については、説明を省略する場合がある。
ダウンサンプル部510は、縮小フレーム411に対して更にダウンサンプルすることにより、縮小フレーム921を生成する。ダウンサンプル部520は、縮小フレーム412に対して更にダウンサンプルすることにより、縮小フレーム922を生成する。ダウンサンプル部530は、縮小フレーム413に対して更にダウンサンプルすることにより、縮小フレーム923を生成する。縮小フレーム921、縮小フレーム922、及び縮小フレーム923は、N/4×M/4個の画素数を持つ画像である。
制御部110は、縮小フレーム921、縮小フレーム922、及び縮小フレーム923を用いてデフリッカ処理を行う。具体的には、図3等に関連して説明したように、縮小フレーム921、縮小フレーム922、及び縮小フレーム923を加算して平均化することによって得られたフレームを用いて、デフリッカ画像932を生成する。そして、アップサンプル部550は、デフリッカ画像932をアップサンプルすることによって、拡大画像942を生成する。拡大画像942は、N×Mの画素数を持つ画像である。
アップサンプル部560は、縮小フレーム922をアップサンプルすることによって、低域成分画像952を生成する。低域成分画像952は、N×M個の画素数を持つ画像である。低域成分画像952は、現フレーム402における高域の空間周波数成分を低減した画像であるといえる。差分処理部570は、現フレーム402と低域成分画像952との差分により、高域成分画像962を生成する。高域成分画像962は、N×Mの画素数を持ち、現フレーム402から高域の空間周波数成分を抽出した画像であるといえる。
加算部580は、拡大画像942に高域成分画像962を加算することによって、出力フレーム970を生成する。出力フレーム970は、N×Mの画素数を持つ画像である。図9に示す構成によれば、縮小フレーム921、縮小フレーム922、及び縮小フレーム923に対してデフリッカ処理を行うので、デフリッカ処理に必要な処理量の増大をより抑制することができる。なお、図9は2段階のダウンサンプルを行う構成であるが、3段階以上のダウンサンプルを行う構成を採用してもよい。
以上の説明では、照明の輝度変化の周期が1/100秒であり、フレーム期間が1/60秒である場合において、3個のフレームを重ね合わせた画像を用いてデフリッカ処理を行う場合を説明した。照明の輝度変化の周期とフレーム期間が他の組み合わせである場合には、重ね合わせるフレームの数を適宜調整することによって、同様のデフリッカ処理を行うことができる。
以上に説明したとおり、制御部110による画像処理によれば、デフリッカ処理に必要な処理量を削減することができる。また、デフリッカ処理によって高域の空間周波数成分が低下することを抑制することができる。
撮像装置100の一部又は全ての機能は、携帯電話等の移動端末に組み込まれてよい。撮像装置100は、監視カメラであってよい。撮像装置100はビデオカメラ、等であってよい。撮像装置100の一部又は全ての機能は、動画を撮像することができる任意の装置に組み込まれてよい。
上記のような撮像装置100は、移動体に搭載されてもよい。撮像装置100は、図10に示すような、無人航空機(UAV)に搭載されてもよい。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備えてよい。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
図11は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。例えば、コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、制御部110として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」の機能を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 UAV
20 UAV本体
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 制御部
120 イメージセンサ
130 メモリ
160 表示部
162 指示部
170 通信部
401 前フレーム
402 現フレーム
403 次フレーム
411 縮小フレーム
412 縮小フレーム
413 縮小フレーム
432 デフリッカ画像
442 拡大画像
452 低域成分画像
462 高域成分画像
470 出力フレーム
500 画像処理部
510、520、530 ダウンサンプル部
540 デフリッカ部
550、560 アップサンプル部
570 差分処理部
580 加算部
710 YUV変換部
780 メモリ部
800 画像処理部
810 YUV変換部
921、922、923 縮小フレーム
932 デフリッカ画像
942 拡大画像
952 低域成分画像
962 高域成分画像
970 出力フレーム
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
20 UAV本体
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 制御部
120 イメージセンサ
130 メモリ
160 表示部
162 指示部
170 通信部
401 前フレーム
402 現フレーム
403 次フレーム
411 縮小フレーム
412 縮小フレーム
413 縮小フレーム
432 デフリッカ画像
442 拡大画像
452 低域成分画像
462 高域成分画像
470 出力フレーム
500 画像処理部
510、520、530 ダウンサンプル部
540 デフリッカ部
550、560 アップサンプル部
570 差分処理部
580 加算部
710 YUV変換部
780 メモリ部
800 画像処理部
810 YUV変換部
921、922、923 縮小フレーム
932 デフリッカ画像
942 拡大画像
952 低域成分画像
962 高域成分画像
970 出力フレーム
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
Claims (13)
- 動画に対してフリッカを低減する画像処理を行うように構成された回路
を備え、
前記回路は、
前記動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成し、
前記複数の縮小画像を加算した画像を用いて、前記複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成し、
前記第2の画像の画素数を増加させることにより第3の画像を生成し、
前記第1の画像と前記第1の画像の低空間周波数成分画像との間の差分画像を生成し、
前記第3の画像と前記差分画像との加算により、前記第1の画像に対応する出力画像を生成する
ように構成される、画像処理装置。 - 前記回路は、前記第1の画像の画素数を減少させることによって生成された第1の縮小画像の画素数を増加させることにより、前記第3の画像を生成するように構成される
請求項1に記載の画像処理装置。 - 前記回路は、前記動画から検出されるフリッカ成分の大きさが予め定められた値を超える場合に、フリッカを低減する画像処理を行うように構成される
請求項1又は2に記載の画像処理装置。 - 前記回路は、
前記複数の縮小画像からフリッカ成分を検出し、
前記複数の縮小画像から検出したフリッカ成分の大きさが予め定められた値を超える場合に、前記複数の画像のそれぞれについてフリッカを低減する画像処理を行う
ように構成される請求項3に記載の画像処理装置。 - 前記回路は、予め定められた値より大きい高周波成分が検出された領域に前記フリッカを低減する画像処理を行うように構成される
請求項1又は2に記載の画像処理装置。 - 前記回路は、前記動画における動き量が予め定められた値を下回る場合に、前記フリッカを低減する画像処理を行うように構成される
請求項1又は2に記載の画像処理装置。 - 前記回路は、前記動画にガンマ補正が施されている場合に、前記複数の縮小画像を互いに異なる重みで加算した画像を用いて、前記第2の画像を生成するように構成される
請求項1又は2に記載の画像処理装置。 - 前記回路は、前記動画の色空間形式がYUV形式である場合に、前記動画のY信号のみに前記フリッカを低減する画像処理を行うように構成される
請求項1又は2に記載の画像処理装置。 - 請求項1又は2に記載の画像処理装置と、
前記動画を生成するイメージセンサと
を備える撮像装置。 - 請求項9に記載の撮像装置を搭載して移動する移動体。
- 前記移動体は、無人航空機である
請求項10に記載の移動体。 - コンピュータに、動画に対してフリッカを低減する画像処理を行わせるためのプログラムであって、
前記プログラムは、前記コンピュータに、
前記動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成させ、
前記複数の縮小画像を加算した画像を用いて、前記複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成させ、
前記第2の画像の画素数を増加させることにより第3の画像を生成させ、
前記第1の画像と前記第1の画像の低空間周波数成分画像との間の差分画像を生成させ
前記第3の画像と前記差分画像との加算により、前記第1の画像に対応する出力画像を生成させる、
プログラム。 - 動画に対してフリッカを低減する画像処理を行う方法であって、
前記動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成する段階と、
前記複数の縮小画像を加算した画像を用いて、前記複数の画像に含まれる第1の画像においてフリッカ成分を低減した第2の画像を生成する段階と、
前記第2の画像の画素数を増加させることにより第3の画像を生成する段階と、
前記第1の画像と前記第1の画像の低空間周波数成分画像との間の差分画像を生成する段階と、
前記第3の画像と前記差分画像との加算により、前記第1の画像に対応する出力画像を生成する段階と
を備える方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088435A JP6932895B1 (ja) | 2020-05-20 | 2020-05-20 | 画像処理装置、撮像装置、移動体、プログラム及び方法 |
PCT/CN2021/093317 WO2021233177A1 (zh) | 2020-05-20 | 2021-05-12 | 图像处理装置、摄像装置、移动体、程序以及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088435A JP6932895B1 (ja) | 2020-05-20 | 2020-05-20 | 画像処理装置、撮像装置、移動体、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6932895B1 true JP6932895B1 (ja) | 2021-09-08 |
JP2021182727A JP2021182727A (ja) | 2021-11-25 |
Family
ID=77549962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020088435A Active JP6932895B1 (ja) | 2020-05-20 | 2020-05-20 | 画像処理装置、撮像装置、移動体、プログラム及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6932895B1 (ja) |
WO (1) | WO2021233177A1 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4207922B2 (ja) * | 2005-04-19 | 2009-01-14 | ソニー株式会社 | フリッカ補正方法、フリッカ補正装置及び撮像装置 |
CN100420271C (zh) * | 2006-06-13 | 2008-09-17 | 北京中星微电子有限公司 | 一种图像序列帧间闪烁噪声消除装置 |
CN100420270C (zh) * | 2006-06-13 | 2008-09-17 | 北京中星微电子有限公司 | 图像序列帧间闪烁噪声消除方法 |
JP4586052B2 (ja) * | 2007-08-08 | 2010-11-24 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5430234B2 (ja) * | 2009-06-04 | 2014-02-26 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
JP5451319B2 (ja) * | 2009-10-29 | 2014-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
JP2011254404A (ja) * | 2010-06-03 | 2011-12-15 | Canon Inc | 画像処理装置およびその制御方法 |
JP6276639B2 (ja) * | 2014-04-22 | 2018-02-07 | 日本放送協会 | ビデオカメラ装置、映像信号の処理方法および映像信号処理装置 |
WO2018079390A1 (ja) * | 2016-10-27 | 2018-05-03 | ソニー株式会社 | 映像信号処理装置、撮像装置、撮像装置におけるフリッカ確認方法およびサーバ |
-
2020
- 2020-05-20 JP JP2020088435A patent/JP6932895B1/ja active Active
-
2021
- 2021-05-12 WO PCT/CN2021/093317 patent/WO2021233177A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2021182727A (ja) | 2021-11-25 |
WO2021233177A1 (zh) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109309796B (zh) | 使用多个相机获取图像的电子装置和用其处理图像的方法 | |
US10116879B2 (en) | Method and apparatus for obtaining an image with motion blur | |
US11107195B1 (en) | Motion blur and depth of field for immersive content production systems | |
EP2553920B1 (en) | Image processing apparatus, method, and computer program storage device | |
US10785469B2 (en) | Generation apparatus and method for generating a virtual viewpoint image | |
US10931882B2 (en) | Imaging device, control method of imaging device, and storage medium, with controlling of exposure levels of plurality of imaging units | |
CN101292513A (zh) | 用于在数字成像中降低运动失真的方法和设备 | |
JP6497965B2 (ja) | 画像処理装置及び画像処理方法 | |
CN1604620A (zh) | 图像捕获设备、图像显示方法和程序 | |
US9258492B2 (en) | Image processing apparatus, image pickup apparatus including image processing apparatus, image processing method, and storage medium in which program is stored for acquiring and processing images taken at different focus positions | |
CN112166455A (zh) | 图像处理方法、装置、可移动平台及机器可读存储介质 | |
JP2019080226A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
CN103685876A (zh) | 摄像装置及摄像方法 | |
CN108989713A (zh) | 影像处理方法、电子装置及非暂态电脑可读取记录媒体 | |
JP6932895B1 (ja) | 画像処理装置、撮像装置、移動体、プログラム及び方法 | |
JP2019097137A (ja) | 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム | |
JP6874251B2 (ja) | 装置、撮像装置、移動体、方法、及びプログラム | |
JP6961888B1 (ja) | 装置、撮像装置、移動体、プログラム及び方法 | |
JP6572500B1 (ja) | 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム | |
JPWO2018185940A1 (ja) | 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム | |
EP3595287A1 (en) | Capturing video content with at least two cameras of a multi-camera rig | |
JP6743337B1 (ja) | 制御装置、撮像装置、撮像システム、制御方法、及びプログラム | |
JP6746857B2 (ja) | 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム | |
JP7019895B2 (ja) | 装置、撮像装置、撮像システム、移動体、方法、及びプログラム | |
JP7043706B2 (ja) | 制御装置、撮像システム、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6932895 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |