JPH11252428A - 超解像カメラ - Google Patents
超解像カメラInfo
- Publication number
- JPH11252428A JPH11252428A JP10053100A JP5310098A JPH11252428A JP H11252428 A JPH11252428 A JP H11252428A JP 10053100 A JP10053100 A JP 10053100A JP 5310098 A JP5310098 A JP 5310098A JP H11252428 A JPH11252428 A JP H11252428A
- Authority
- JP
- Japan
- Prior art keywords
- image
- zoom ratio
- zoom
- projection distribution
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 ズーム操作によって撮影された映像から、広
角で高解像度の静止画をリアルタイムで生成する。 【解決手段】 任意の情景を動画として撮影する撮像系
(100,102)と、ディスプレイ(120)とを有するカメラにお
いて、ディスプレイには、検出したズーム率に応じて、
上記画像列の画像を逐次拡大または縮小して上書き合成
した高解像度画像を表示する。 【効果】 広い視野角で、かつ着目領域について高い分
解能で撮影したのと同様の高解像度の静止画を、低コス
ト、ロバストかつリアルタイムに生成できる。
角で高解像度の静止画をリアルタイムで生成する。 【解決手段】 任意の情景を動画として撮影する撮像系
(100,102)と、ディスプレイ(120)とを有するカメラにお
いて、ディスプレイには、検出したズーム率に応じて、
上記画像列の画像を逐次拡大または縮小して上書き合成
した高解像度画像を表示する。 【効果】 広い視野角で、かつ着目領域について高い分
解能で撮影したのと同様の高解像度の静止画を、低コス
ト、ロバストかつリアルタイムに生成できる。
Description
【０００１】
【発明の属する技術分野】本発明は、広角かつ解像度の
高い静止画を得ることが可能なデジタルカメラに係り、
特にカメラのズーミング操作によって撮影された映像か
ら、広角かつ高解像度の静止画を得ることが可能な超解
像カメラに関する。
高い静止画を得ることが可能なデジタルカメラに係り、
特にカメラのズーミング操作によって撮影された映像か
ら、広角かつ高解像度の静止画を得ることが可能な超解
像カメラに関する。
【０００２】
【従来の技術】近年、情報収集ツールとして、多種類の
デジタルカメラが販売されている。技術的には携帯重
視、機能重視、画質重視の観点から様々な工夫が施され
ている。撮影した画像はデジタル画像であるため、直接
的にコンピュータに入力して、送信したり、インターネ
ットのホームページに掲載したり、プリントしたりする
のが簡単にできる。このため、デジタルカメラは急速に
普及し続けている。
デジタルカメラが販売されている。技術的には携帯重
視、機能重視、画質重視の観点から様々な工夫が施され
ている。撮影した画像はデジタル画像であるため、直接
的にコンピュータに入力して、送信したり、インターネ
ットのホームページに掲載したり、プリントしたりする
のが簡単にできる。このため、デジタルカメラは急速に
普及し続けている。
【０００３】しかしながら、現在のデジタルカメラは画
質が従来の銀塩カメラに比べ、大幅に劣る。現状の平均
的なデジタルカメラの解像度、すなわち３２０画素×２
４０画素程度では、視野角を大きくして撮影すると、画
像の内容把握に支障をきたす場合がある。そのため、広
角で撮影しても高解像度の静止画を得るデジタルカメラ
の出現が望まれる。
質が従来の銀塩カメラに比べ、大幅に劣る。現状の平均
的なデジタルカメラの解像度、すなわち３２０画素×２
４０画素程度では、視野角を大きくして撮影すると、画
像の内容把握に支障をきたす場合がある。そのため、広
角で撮影しても高解像度の静止画を得るデジタルカメラ
の出現が望まれる。
【０００４】従来、複数の画像を用いて解像度の高い画
像を得る方法として、LaureTedosic他の“Salliant Vid
eo Still : Content and Context Preserved”（ACM Mu
ltimedia 93 pp.39-46）がある。これはカメラ操作のモ
デルとしてアフィン変換を想定し、６つのパラメータを
連続する画像間の局所的な動きベクトル群から算出し、
複数の画像から１枚の広角で高解像度な画像を合成す
る。
像を得る方法として、LaureTedosic他の“Salliant Vid
eo Still : Content and Context Preserved”（ACM Mu
ltimedia 93 pp.39-46）がある。これはカメラ操作のモ
デルとしてアフィン変換を想定し、６つのパラメータを
連続する画像間の局所的な動きベクトル群から算出し、
複数の画像から１枚の広角で高解像度な画像を合成す
る。
【０００５】また、動画像の符号化分野ではスプライト
と呼ぶ広い視野の静止画を生成する方法として、秦泉寺
他の「スプライト生成におけるアライメントに関する一
考察」（電子情報通信学会 信学技法 IE97-81(199
7)）pp.19-24がある。これはカメラ操作のモデルとし
て、ヘルマート変換を想定し、カメラのパン、チルト、
ズーム、ローテートパラメータを求めて、複数の画像か
ら１枚の広視野の画像を合成する。各パラメータは、前
述の方法と同様に連続する画像間の局所的な動きベクト
ル群から算出する。
と呼ぶ広い視野の静止画を生成する方法として、秦泉寺
他の「スプライト生成におけるアライメントに関する一
考察」（電子情報通信学会 信学技法 IE97-81(199
7)）pp.19-24がある。これはカメラ操作のモデルとし
て、ヘルマート変換を想定し、カメラのパン、チルト、
ズーム、ローテートパラメータを求めて、複数の画像か
ら１枚の広視野の画像を合成する。各パラメータは、前
述の方法と同様に連続する画像間の局所的な動きベクト
ル群から算出する。
【０００６】
【発明が解決しようとする課題】従来技術で広角で高解
像度の静止画を生成する手法は、いずれも、連続する画
像間の局所的な動きベクトルを求める必要がある。動き
ベクトルを求めるためには、画像中の数百箇所以上で、
１６画素×１６画素程度のサイズのブロックマッチング
による探索処理が必要となるため、計算量が膨大になる
という問題がある。また、局所的な動きベクトルに基づ
きカメラワークパラメータを推定するため、画面中に動
く物体が存在すると誤差の要因になりやすいという問題
もある。したがって、従来の方式をデジタルカメラに適
用して、高解像度の画像を生成するのは困難であった。
従来技術では、カメラワークパラメータ検出のリアルタ
イム化や一般的な映像を対象とした時の検出性能のロバ
スト化などが実用上の課題として残っている。
像度の静止画を生成する手法は、いずれも、連続する画
像間の局所的な動きベクトルを求める必要がある。動き
ベクトルを求めるためには、画像中の数百箇所以上で、
１６画素×１６画素程度のサイズのブロックマッチング
による探索処理が必要となるため、計算量が膨大になる
という問題がある。また、局所的な動きベクトルに基づ
きカメラワークパラメータを推定するため、画面中に動
く物体が存在すると誤差の要因になりやすいという問題
もある。したがって、従来の方式をデジタルカメラに適
用して、高解像度の画像を生成するのは困難であった。
従来技術では、カメラワークパラメータ検出のリアルタ
イム化や一般的な映像を対象とした時の検出性能のロバ
スト化などが実用上の課題として残っている。
【０００７】本発明が解決しようとする課題は、広い視
野角でかつ高い分解能で撮影したのと同様の広角・高解
像度の静止画を、低コスト、ロバストかつリアルタイム
に生成するカメラを提供することにある。
野角でかつ高い分解能で撮影したのと同様の広角・高解
像度の静止画を、低コスト、ロバストかつリアルタイム
に生成するカメラを提供することにある。
【０００８】
【課題を解決するための手段】上記課題を解決するた
め、任意の情景を動画として撮影する撮像系と、動画の
録画開始から終了までの指示を受ける操作入力手段と、
ディスプレイとを有するカメラにおいて、撮像系で撮影
された動画を構成する画像列に含まれる画像間でのズー
ム率を検出するズーム率検出手段を備え、ディスプレイ
には、ズーム率検出手段により検出したズーム率に応じ
て、画像列の画像を逐次拡大または縮小して上書き合成
した高解像度画像が表示されるようにする。
め、任意の情景を動画として撮影する撮像系と、動画の
録画開始から終了までの指示を受ける操作入力手段と、
ディスプレイとを有するカメラにおいて、撮像系で撮影
された動画を構成する画像列に含まれる画像間でのズー
ム率を検出するズーム率検出手段を備え、ディスプレイ
には、ズーム率検出手段により検出したズーム率に応じ
て、画像列の画像を逐次拡大または縮小して上書き合成
した高解像度画像が表示されるようにする。
【０００９】
【発明の実施の形態】以下、本発明の一実施例を詳細に
説明する。
説明する。
【００１０】図１は、本発明を実現するための超解像カ
メラのシステム構成図の一例である。本システム構成
は、現在汎用的に用いられているデジタルコンピュー
タ、特にノート型パソコンのシステム構成に、撮影のた
めのレンズをはじめとする光学系１００や撮影した映像
を圧縮伸張するためのデバイス１０４と１０６、映像を
外部に出力するためのアナログ出力１２４などを備えた
ものに相当する。このシステム構成を１つの筺体にコン
パクトにまとめた実施態様を図２に示す。
メラのシステム構成図の一例である。本システム構成
は、現在汎用的に用いられているデジタルコンピュー
タ、特にノート型パソコンのシステム構成に、撮影のた
めのレンズをはじめとする光学系１００や撮影した映像
を圧縮伸張するためのデバイス１０４と１０６、映像を
外部に出力するためのアナログ出力１２４などを備えた
ものに相当する。このシステム構成を１つの筺体にコン
パクトにまとめた実施態様を図２に示す。
【００１１】光学系１００は、撮影しようとする風景や
人物などが撮像素子に正しく焦点を結ぶように調節す
る。この光学系には、ズームアップ撮影を行うための倍
率調整機構も含まれる。どれだけのズーム倍率に設定し
たかなどの操作情報は、ＣＰＵ１１２にも伝えられる。
ファインダ１０１は光学的に像を表示する。撮像素子１
０２は、光電変換を行って撮影対象を電気的な信号に変
える。画像圧縮エンコーダ１０４は、撮像素子１０２で
得られた電気信号を一枚の画像として取り込み、ＭＰＥ
Ｇに代表される画像圧縮方法を用いてデータ量を削減す
るとともに、補助記憶装置１１０に格納する。こうした
画像の取り込みを、秒３０回程度の頻度で繰り返すこと
で、連続的な動画として補助記憶装置に格納できる。静
止画が必要な場合は、シャッターが押された瞬間の画像
を１枚だけ格納するようにすればよい。
人物などが撮像素子に正しく焦点を結ぶように調節す
る。この光学系には、ズームアップ撮影を行うための倍
率調整機構も含まれる。どれだけのズーム倍率に設定し
たかなどの操作情報は、ＣＰＵ１１２にも伝えられる。
ファインダ１０１は光学的に像を表示する。撮像素子１
０２は、光電変換を行って撮影対象を電気的な信号に変
える。画像圧縮エンコーダ１０４は、撮像素子１０２で
得られた電気信号を一枚の画像として取り込み、ＭＰＥ
Ｇに代表される画像圧縮方法を用いてデータ量を削減す
るとともに、補助記憶装置１１０に格納する。こうした
画像の取り込みを、秒３０回程度の頻度で繰り返すこと
で、連続的な動画として補助記憶装置に格納できる。静
止画が必要な場合は、シャッターが押された瞬間の画像
を１枚だけ格納するようにすればよい。
【００１２】音声は、マイク１２６とＡ／Ｄコンバータ
１２８によって取り込み、動画と対応づけて補助記憶装
置１１０に格納することができる。補助記憶装置１１０
は、ハードディスク等の大容量記録装置であり、デジタ
ルデータを半永久的に記録するための装置である。例え
ば、ＰＣＭＣＩＡ方式のハードディスクカードのように
記憶装置ごと本体から着脱できるタイプの記録装置また
は、光磁気ディスク等のように記録媒体のみを着脱でき
るタイプの記録装置として構成できる。ＣＰＵ１１２
は、録画処理をスタート／ストップするなどの制御をは
じめ、本発明で説明する機能を実現するためのソフトウ
エアプログラムを実行する。プログラムはメモリ１１４
に常駐し、プログラムの実行に必要となる各種の変数の
値やデータ類も必要に応じて格納される。
１２８によって取り込み、動画と対応づけて補助記憶装
置１１０に格納することができる。補助記憶装置１１０
は、ハードディスク等の大容量記録装置であり、デジタ
ルデータを半永久的に記録するための装置である。例え
ば、ＰＣＭＣＩＡ方式のハードディスクカードのように
記憶装置ごと本体から着脱できるタイプの記録装置また
は、光磁気ディスク等のように記録媒体のみを着脱でき
るタイプの記録装置として構成できる。ＣＰＵ１１２
は、録画処理をスタート／ストップするなどの制御をは
じめ、本発明で説明する機能を実現するためのソフトウ
エアプログラムを実行する。プログラムはメモリ１１４
に常駐し、プログラムの実行に必要となる各種の変数の
値やデータ類も必要に応じて格納される。
【００１３】ビデオメモリ１１６は、ディスプレイ１２
０に表示される画像をデジタルデータとして格納してい
る。Ｄ／Ａコンバータ１１８は、一般にＲＡＭＤＡＣと
呼ばれている種類のＤ／Ａコンバータであり、ビデオメ
モリ１１６に書かれたデータを走査線スピードに合わせ
て逐次読みとり、ディスプレイ１２０に描画する。この
種類のＤ／Ａコンバータは、ビデオメモリ１１６のデー
タを更新すると、その更新内容がディスプレイ１２０の
表示内容に直ちに反映される。また、画像圧縮エンコー
ダ１０４に入力される撮影中の画像を、画像圧縮機能を
バイパスして、ビデオメモリ１１６に直接書き込むこと
も可能である。ディスプレイ１２０は、画像を表示する
ためのデバイスであり、小型のＣＲＴやプラズマディス
プレイであっても良く、液晶タイプの表示デバイスであ
っても良い。画像伸張デコーダ１０６は、補助記憶装置
１１０に格納された圧縮された動画データを伸張し、画
像としてビデオメモリ１１６上に展開する。
０に表示される画像をデジタルデータとして格納してい
る。Ｄ／Ａコンバータ１１８は、一般にＲＡＭＤＡＣと
呼ばれている種類のＤ／Ａコンバータであり、ビデオメ
モリ１１６に書かれたデータを走査線スピードに合わせ
て逐次読みとり、ディスプレイ１２０に描画する。この
種類のＤ／Ａコンバータは、ビデオメモリ１１６のデー
タを更新すると、その更新内容がディスプレイ１２０の
表示内容に直ちに反映される。また、画像圧縮エンコー
ダ１０４に入力される撮影中の画像を、画像圧縮機能を
バイパスして、ビデオメモリ１１６に直接書き込むこと
も可能である。ディスプレイ１２０は、画像を表示する
ためのデバイスであり、小型のＣＲＴやプラズマディス
プレイであっても良く、液晶タイプの表示デバイスであ
っても良い。画像伸張デコーダ１０６は、補助記憶装置
１１０に格納された圧縮された動画データを伸張し、画
像としてビデオメモリ１１６上に展開する。
【００１４】アナログ出力１２４は、伸張した画像を、
ＮＴＳＣ方式をはじめとする、テレビ受像機に広く用い
られているアナログ映像信号に変換して出力する。この
出力を現在広く普及しているＶＨＳ方式などのビデオ機
器に接続して記録することができる。また、音声も記録
されている場合には、画像の伸張に同期させて、音声用
Ｄ／Ａコンバータ１３２とスピーカー１３０によって音
声出力することもできる。入力Ｉ／Ｆ１２３は、録画ボ
タンや再生ボタンなどのスイッチ類や、ディスプレイ１
２０の表示面に貼られた透明なタッチパネルといった情
報入力デバイスである。入力された情報はＣＰＵ１１２
に伝えられ、適宜処理される。バス１０８は、以上の各
デバイス間を相互につなぐデータバスである。
ＮＴＳＣ方式をはじめとする、テレビ受像機に広く用い
られているアナログ映像信号に変換して出力する。この
出力を現在広く普及しているＶＨＳ方式などのビデオ機
器に接続して記録することができる。また、音声も記録
されている場合には、画像の伸張に同期させて、音声用
Ｄ／Ａコンバータ１３２とスピーカー１３０によって音
声出力することもできる。入力Ｉ／Ｆ１２３は、録画ボ
タンや再生ボタンなどのスイッチ類や、ディスプレイ１
２０の表示面に貼られた透明なタッチパネルといった情
報入力デバイスである。入力された情報はＣＰＵ１１２
に伝えられ、適宜処理される。バス１０８は、以上の各
デバイス間を相互につなぐデータバスである。
【００１５】本発明のデジタルカメラは、撮像した画像
系列をズームイン、ズームアウトのカメラ操作に応じて
画像を合成する。メモリ１１４内に格納されたカメラ制
御プログラムは、撮影区間の間、撮像された画像をメモ
リに取り込みながら画像をズーム率に合わせてスケーリ
ングして合成し、逐次ビデオメモリ１１６に転送し、デ
ィスプレイ１２０に超解像画像１２２を表示する。撮影
が終了すると、超解像画像は補助記憶装置１１０に、画
像データ構造体１１０−１として格納される。映像のヘ
ッダー情報１１０−１−１は、画像圧縮の方式、画像の
縦横のサイズといった伸張に必要な情報が含まれる。ま
た、連続する画像間のズーム率も必要な情報として含ん
でもよい。有効フラグ１１０−１−２は、その画像が有
効か無効かを示すフラグであり、簡易な画像編集の際に
用いられる。画像データ量１１０−１−３は、このあと
に続く画像データ１１０−１−４が何バイトあるのかを
示す。これにより、画像の種類によって画像圧縮された
り、超解像画像のサイズが変化しても、画像データがど
こに記録されているかが計算できる。
系列をズームイン、ズームアウトのカメラ操作に応じて
画像を合成する。メモリ１１４内に格納されたカメラ制
御プログラムは、撮影区間の間、撮像された画像をメモ
リに取り込みながら画像をズーム率に合わせてスケーリ
ングして合成し、逐次ビデオメモリ１１６に転送し、デ
ィスプレイ１２０に超解像画像１２２を表示する。撮影
が終了すると、超解像画像は補助記憶装置１１０に、画
像データ構造体１１０−１として格納される。映像のヘ
ッダー情報１１０−１−１は、画像圧縮の方式、画像の
縦横のサイズといった伸張に必要な情報が含まれる。ま
た、連続する画像間のズーム率も必要な情報として含ん
でもよい。有効フラグ１１０−１−２は、その画像が有
効か無効かを示すフラグであり、簡易な画像編集の際に
用いられる。画像データ量１１０−１−３は、このあと
に続く画像データ１１０−１−４が何バイトあるのかを
示す。これにより、画像の種類によって画像圧縮された
り、超解像画像のサイズが変化しても、画像データがど
こに記録されているかが計算できる。
【００１６】図２は、超解像カメラの外観ならびに画面
表示の一実施例である。カメラ本体２００は、大きく光
学系（レンズ部を含む）１００、ファインダ１０１、平
面ディスプレイ１２０と操作ボタン類２０１〜２０５な
どから構成される。光学系１００で撮られた映像は、フ
ァインダ１０１で確認できるとともに、ディスプレイ１
２０には、そのままの画像、または画像を合成して得た
超解像画像が表示され、撮像内容が確認できるようにな
っている。操作スイッチ２０１はズームを行うためのも
のである。操作スイッチ２０１は、シーソースイッチに
なっていて、一方に倒すと連続的にズームインされた望
遠撮影になり、もう一方に倒すと逆にズームアウトした
広角撮影になる。録画は、録画ボタン２０２を押すこと
ででき、一度押すと録画が開始され、録画中にもう一度
押すと録画が終了する。録画区間中にユーザが広角や望
遠によって風景を撮影したときは、各画像列をスケーリ
ングしながら合成した超解像画像をリアルタイムで作成
し、ディスプレイ１２０上へ表示する。これにより画像
の合成状況が即座に確認でき、撮影者の意図した超解像
画像が確実に作成できる。もちろん、取り込んだ動画を
一度、補助記憶装置１１０に記憶しておき、別途補助記
憶装置から動画のクリップを読み出し、超解像画像を作
成することもできる。
表示の一実施例である。カメラ本体２００は、大きく光
学系（レンズ部を含む）１００、ファインダ１０１、平
面ディスプレイ１２０と操作ボタン類２０１〜２０５な
どから構成される。光学系１００で撮られた映像は、フ
ァインダ１０１で確認できるとともに、ディスプレイ１
２０には、そのままの画像、または画像を合成して得た
超解像画像が表示され、撮像内容が確認できるようにな
っている。操作スイッチ２０１はズームを行うためのも
のである。操作スイッチ２０１は、シーソースイッチに
なっていて、一方に倒すと連続的にズームインされた望
遠撮影になり、もう一方に倒すと逆にズームアウトした
広角撮影になる。録画は、録画ボタン２０２を押すこと
ででき、一度押すと録画が開始され、録画中にもう一度
押すと録画が終了する。録画区間中にユーザが広角や望
遠によって風景を撮影したときは、各画像列をスケーリ
ングしながら合成した超解像画像をリアルタイムで作成
し、ディスプレイ１２０上へ表示する。これにより画像
の合成状況が即座に確認でき、撮影者の意図した超解像
画像が確実に作成できる。もちろん、取り込んだ動画を
一度、補助記憶装置１１０に記憶しておき、別途補助記
憶装置から動画のクリップを読み出し、超解像画像を作
成することもできる。
【００１７】ここでボタン操作によって、格納された画
像のプレイバックを指示すると、画面１２０に一覧表や
個別の画像が表示される。ここで挙げたカメラの構成例
では、２０３と２０４は汎用ボタンであり、カメラの各
種の動作の決定に汎用的に用いられる。また、２０５は
スクロールボタンで、撮影した多数の超解像画像を選択
したり、ディスプレイ１２０上に表示しきれない超解像
画像をスクロールするのに利用する。
像のプレイバックを指示すると、画面１２０に一覧表や
個別の画像が表示される。ここで挙げたカメラの構成例
では、２０３と２０４は汎用ボタンであり、カメラの各
種の動作の決定に汎用的に用いられる。また、２０５は
スクロールボタンで、撮影した多数の超解像画像を選択
したり、ディスプレイ１２０上に表示しきれない超解像
画像をスクロールするのに利用する。
【００１８】録画された画像はアナログ出力１２４を介
して、テレビ受像機に広く用いられているアナログ映像
信号に変換して出力できる。また、コンピュータインタ
フェース２０６を介して、録画データを一般のコンピュ
ータへ転送できる。このことにより本発明の超解像カメ
ラが、情報取得ツールとしても利用可能となる。
して、テレビ受像機に広く用いられているアナログ映像
信号に変換して出力できる。また、コンピュータインタ
フェース２０６を介して、録画データを一般のコンピュ
ータへ転送できる。このことにより本発明の超解像カメ
ラが、情報取得ツールとしても利用可能となる。
【００１９】図３は広角で高い解像度の静止画を作成す
る過程の説明図であり、図４を併用して説明する。録画
ボタンが押されてから再度押されるまでの画像列が１２
１である。カメラをズームアウトした広角の状態から中
心の対象物にズームインしながら撮影すると、画像列１
２１が得られる。図３の例では、録画開始時点では「全
景」が映り、録画終了時点では「ヘリコプター」が映
る。その間の画像は少しスケールが大きくなりながら変
化する。ただし、この間の変化率は一定ではなく、ユー
ザのズーム操作の停止等により、画像スケールの変化率
は変動しうる。このような状況下でも、画像間のズーム
率に追従して画像列を適宜スケーリングして、全景も映
った状態で、なおかつ目的とする対象物の詳細も識別で
きる高解像度の画像を合成し、超解像画像１２２を得
る。そのため、図４に示すように、時間的に隣接した画
像１２１−１、１２１−２との間で画像特徴量に基づく
照合を行い、画像間のズーム率を求める（４００）。求
めたズーム率に応じて、最新の画像をスケーリングし、
超解像画像１２２−１に上書きする（４１０）。このよ
うな処理を録画中の全ての画像間で実行すると、超解像
画像１２２が得られる。
る過程の説明図であり、図４を併用して説明する。録画
ボタンが押されてから再度押されるまでの画像列が１２
１である。カメラをズームアウトした広角の状態から中
心の対象物にズームインしながら撮影すると、画像列１
２１が得られる。図３の例では、録画開始時点では「全
景」が映り、録画終了時点では「ヘリコプター」が映
る。その間の画像は少しスケールが大きくなりながら変
化する。ただし、この間の変化率は一定ではなく、ユー
ザのズーム操作の停止等により、画像スケールの変化率
は変動しうる。このような状況下でも、画像間のズーム
率に追従して画像列を適宜スケーリングして、全景も映
った状態で、なおかつ目的とする対象物の詳細も識別で
きる高解像度の画像を合成し、超解像画像１２２を得
る。そのため、図４に示すように、時間的に隣接した画
像１２１−１、１２１−２との間で画像特徴量に基づく
照合を行い、画像間のズーム率を求める（４００）。求
めたズーム率に応じて、最新の画像をスケーリングし、
超解像画像１２２−１に上書きする（４１０）。このよ
うな処理を録画中の全ての画像間で実行すると、超解像
画像１２２が得られる。
【００２０】なお、ズームイン操作で撮影した時の超解
像画像生成過程を示したが、ズームアウト操作で撮影し
た場合も同様である。その場合は最新の画像をスケーリ
ングして、超解像画像１２２−１に上書きする際、前画
像からはみ出した領域に限定して上書きすれば良い（４
１０）。ここで、画像のスケーリングは単純にスケール
に応じて拡大または縮小する方式でよいが、このとき、
周囲の４つの画素を参照して線形補間する方式を適用し
ても良い。線形補間する方式では、演算量が４倍に増え
る問題はあるが、超解像画像を拡大表示した時、画像の
ギザギザを目立たなくすることができる。
像画像生成過程を示したが、ズームアウト操作で撮影し
た場合も同様である。その場合は最新の画像をスケーリ
ングして、超解像画像１２２−１に上書きする際、前画
像からはみ出した領域に限定して上書きすれば良い（４
１０）。ここで、画像のスケーリングは単純にスケール
に応じて拡大または縮小する方式でよいが、このとき、
周囲の４つの画素を参照して線形補間する方式を適用し
ても良い。線形補間する方式では、演算量が４倍に増え
る問題はあるが、超解像画像を拡大表示した時、画像の
ギザギザを目立たなくすることができる。
【００２１】生成する超解像画像をリアルタイムに表示
させる場合には、録画開始時のレンズ倍率に従って、録
画開始時の第１枚目の画像をどのサイズでディスプレイ
に表示するかを予め設定しておくことが望ましい。ズー
ムアウトしきった状態からズームインしながら撮影する
場合、最初の１枚目の画像は十分大きなサイズで表示し
ても問題はないが、ズームインしきった状態からズーム
アウトしながら撮影する場合は、第１枚目の画像はズー
ムアウト時しきった状態になってもディスプレィの画面
からはみ出さない大きさで表示される必要がある。
させる場合には、録画開始時のレンズ倍率に従って、録
画開始時の第１枚目の画像をどのサイズでディスプレイ
に表示するかを予め設定しておくことが望ましい。ズー
ムアウトしきった状態からズームインしながら撮影する
場合、最初の１枚目の画像は十分大きなサイズで表示し
ても問題はないが、ズームインしきった状態からズーム
アウトしながら撮影する場合は、第１枚目の画像はズー
ムアウト時しきった状態になってもディスプレィの画面
からはみ出さない大きさで表示される必要がある。
【００２２】図５にズーム率を検出する原理を示す。
【００２３】まず、時刻Tiの画像１２１−１の水平投影
分布５００および垂直投影分布５０１を作成する。水平
投影分布５００は入力画像の各画素の輝度の値を水平方
向に加算した結果を、画像の幅（ｗ）で正規化して作成
する。一方、垂直投影分布５０１は入力画像の各画素の
輝度の値を垂直方向に加算した結果を画像の高さ（Ｈ）
で正規化して作成する。時刻Ti+1の画像１２１−２につ
いても同様にして、水平投影分布５０２および垂直投影
分布５０３を作成する。なお、輝度値に変えてＲＧＢの
いずれかのスペクトルの強さやエッジ（変化点）の強度
を使用してもよい。画像の特徴を示す値である限り、種
々のパラメータを使用することができる。
分布５００および垂直投影分布５０１を作成する。水平
投影分布５００は入力画像の各画素の輝度の値を水平方
向に加算した結果を、画像の幅（ｗ）で正規化して作成
する。一方、垂直投影分布５０１は入力画像の各画素の
輝度の値を垂直方向に加算した結果を画像の高さ（Ｈ）
で正規化して作成する。時刻Ti+1の画像１２１−２につ
いても同様にして、水平投影分布５０２および垂直投影
分布５０３を作成する。なお、輝度値に変えてＲＧＢの
いずれかのスペクトルの強さやエッジ（変化点）の強度
を使用してもよい。画像の特徴を示す値である限り、種
々のパラメータを使用することができる。
【００２４】次に、垂直投影分布（５０１、５０３）の
照合によりズーム率を予測する。ズーム率の予測には前
方予測（Ti→Ti+1）と後方予測（Ti+1→Ti）を行い、前
方予測結果と後方予測結果のうち誤差の少ない方を垂直
投影分布によるズーム率検出結果とする。前方予測で
は、時刻Tiの画像１２１−１の垂直投影分布５００か
ら、複数の仮のズーム率を設定して、それらのズーム率
での垂直投影分布（仮の垂直投影分布）を生成する。そ
して生成した仮の垂直投影分布と時刻Ti+1の画像１２１
−２の垂直投影分布５０１とを照合する。仮のズーム率
は、連続する画像間でのズーム率はその変動範囲が限ら
れるため、想定される範囲で仮のズーム率を逐次設定
し、照合の結果、誤差が最小となるときの仮のズーム率
を垂直投影分布によるズーム率予測結果とする。ここ
で、「ズーム率」とは画像中の対象物（視野）の大きさ
が、前の画像に対して後の画像がどれだけ大きくなった
かを表す比率のことと定義する。
照合によりズーム率を予測する。ズーム率の予測には前
方予測（Ti→Ti+1）と後方予測（Ti+1→Ti）を行い、前
方予測結果と後方予測結果のうち誤差の少ない方を垂直
投影分布によるズーム率検出結果とする。前方予測で
は、時刻Tiの画像１２１−１の垂直投影分布５００か
ら、複数の仮のズーム率を設定して、それらのズーム率
での垂直投影分布（仮の垂直投影分布）を生成する。そ
して生成した仮の垂直投影分布と時刻Ti+1の画像１２１
−２の垂直投影分布５０１とを照合する。仮のズーム率
は、連続する画像間でのズーム率はその変動範囲が限ら
れるため、想定される範囲で仮のズーム率を逐次設定
し、照合の結果、誤差が最小となるときの仮のズーム率
を垂直投影分布によるズーム率予測結果とする。ここ
で、「ズーム率」とは画像中の対象物（視野）の大きさ
が、前の画像に対して後の画像がどれだけ大きくなった
かを表す比率のことと定義する。
【００２５】図６に仮のズーム率を設定して、仮の投影
分布を生成し、照合する様子を示す。仮の投影分布はも
との投影分布を１次元の投影軸方向にスケーリングする
ことにより生成する。また２つの投影分布間の照合にお
ける照合誤差として、各要素間での差分の絶対値の総和
を利用する。これ以外にも、平均２乗誤差を利用しても
良い。ズームの予測時に、このような（画像を直接スケ
ーリングして照合するのではなく）画像の投影分布をス
ケーリングしての照合を行うことにより大幅な計算量の
削減が達成される。その結果、100MIPS程度のＣＰＵ性
能があれば、この処理は１秒間に３０回以上可能であ
り、ビデオレートのリアルタイム処理が実現できる。
分布を生成し、照合する様子を示す。仮の投影分布はも
との投影分布を１次元の投影軸方向にスケーリングする
ことにより生成する。また２つの投影分布間の照合にお
ける照合誤差として、各要素間での差分の絶対値の総和
を利用する。これ以外にも、平均２乗誤差を利用しても
良い。ズームの予測時に、このような（画像を直接スケ
ーリングして照合するのではなく）画像の投影分布をス
ケーリングしての照合を行うことにより大幅な計算量の
削減が達成される。その結果、100MIPS程度のＣＰＵ性
能があれば、この処理は１秒間に３０回以上可能であ
り、ビデオレートのリアルタイム処理が実現できる。
【００２６】このように、前方予測と後方予測の両方を
行うのは、精度の高いズーム率検出を達成するためであ
る。ズームアウト方向の予測精度は、ズームアウトする
ことによる新たな領域の画像部分が生じるため、照合結
果が劣化する。両方の予測を行うことによって、前方予
測もしくは後方予測のいずれか一方が見かけ上、ズーム
イン操作の画像列のごとく取り扱えるため、高い精度の
予測、ユーザの任意のズーム操作に対して安定した精度
での予測が行える。同様にして水平投影分布間の照合を
行い、水平投影分布によるズーム率が予測される。
行うのは、精度の高いズーム率検出を達成するためであ
る。ズームアウト方向の予測精度は、ズームアウトする
ことによる新たな領域の画像部分が生じるため、照合結
果が劣化する。両方の予測を行うことによって、前方予
測もしくは後方予測のいずれか一方が見かけ上、ズーム
イン操作の画像列のごとく取り扱えるため、高い精度の
予測、ユーザの任意のズーム操作に対して安定した精度
での予測が行える。同様にして水平投影分布間の照合を
行い、水平投影分布によるズーム率が予測される。
【００２７】そして両者の予測したズーム率をそれぞれ
３つに分類して、両者の分類が一致するかどうかを調べ
る。ズーム率が1.0であればスティル、ズーム率が1.0よ
り大きければズームイン、ズーム率が1.0未満であれば
ズームアウトである。もし、分類結果が不一致であれ
ば、強制的にズーム率を1.0とし、ズーム操作は行われ
なかったと判定する。分類結果が一致すれば、照合誤差
の小さい方のズーム率を、隣接する画像間のズーム率と
して採用する。
３つに分類して、両者の分類が一致するかどうかを調べ
る。ズーム率が1.0であればスティル、ズーム率が1.0よ
り大きければズームイン、ズーム率が1.0未満であれば
ズームアウトである。もし、分類結果が不一致であれ
ば、強制的にズーム率を1.0とし、ズーム操作は行われ
なかったと判定する。分類結果が一致すれば、照合誤差
の小さい方のズーム率を、隣接する画像間のズーム率と
して採用する。
【００２８】このように、垂直投影分布と水平投影分布
の両方のズーム率の分類が一致することをズーム率検出
の条件としたのは水平方向または垂直方向だけの対象物
の移動によって、誤ってズームと判定しないようにする
ためである。例えば、両開きのドアが開閉した場合を撮
影したような映像では、垂直投影分布からのズーム予測
は「開」の場合ズームイン、「閉」の場合ズームアウト
と判定される。しかし、水平投影分布からのズーム予測
はスティルと判定されるため、このような状況でもステ
ィルと正しく判定できる。
の両方のズーム率の分類が一致することをズーム率検出
の条件としたのは水平方向または垂直方向だけの対象物
の移動によって、誤ってズームと判定しないようにする
ためである。例えば、両開きのドアが開閉した場合を撮
影したような映像では、垂直投影分布からのズーム予測
は「開」の場合ズームイン、「閉」の場合ズームアウト
と判定される。しかし、水平投影分布からのズーム予測
はスティルと判定されるため、このような状況でもステ
ィルと正しく判定できる。
【００２９】図８に本発明のカメラ制御プログラム１１
４−１の一実施例として、録画中の超解像画像の生成処
理を中心にフローチャートで示す。高解像画像の生成処
理のほかにも、既存のデジタルカメラでの方式に従い、
蓄積した画像の編集、検索、通信等の処理もできるのは
もちろんである。カメラ制御プログラム１１４−１は図
９に示す制御データ１１４−２を参照して、実行され
る。
４−１の一実施例として、録画中の超解像画像の生成処
理を中心にフローチャートで示す。高解像画像の生成処
理のほかにも、既存のデジタルカメラでの方式に従い、
蓄積した画像の編集、検索、通信等の処理もできるのは
もちろんである。カメラ制御プログラム１１４−１は図
９に示す制御データ１１４−２を参照して、実行され
る。
【００３０】ステップ８００は初期化処理であり、変数
statusを０にリセットする。カメラの電源が入っている
間（ステップ８０２）、以下の超解像画像生成処理を行
う。まず、ステップ８０４で録画ボタン２０２が押され
たかどうかをチェックする。
statusを０にリセットする。カメラの電源が入っている
間（ステップ８０２）、以下の超解像画像生成処理を行
う。まず、ステップ８０４で録画ボタン２０２が押され
たかどうかをチェックする。
【００３１】もしstatusが０で録画ボタンが押された場
合は、録画開始処理８０８を実行する。ここでは、カメ
ラのディスプレイ１２０に表示されていた以前の超解像
画像を消去し、新しい超解像画像表示に備える。すなわ
ち、SUPER_RESOLUTION_IMAGE_BUF（超解像画像バッフ
ァ）１１４−２−２（図９）を初期化する。次に、ステ
ップ８１０で変数statusに１をセットし、録画状態とす
る。
合は、録画開始処理８０８を実行する。ここでは、カメ
ラのディスプレイ１２０に表示されていた以前の超解像
画像を消去し、新しい超解像画像表示に備える。すなわ
ち、SUPER_RESOLUTION_IMAGE_BUF（超解像画像バッフ
ァ）１１４−２−２（図９）を初期化する。次に、ステ
ップ８１０で変数statusに１をセットし、録画状態とす
る。
【００３２】一方、変数statusが１で録画ボタンが押さ
れた場合は、録画終了処理８１２を実行する。ここで
は、録画中に作成した超解像画像の、ヘッダー情報や画
像データ量および超解像画像を画像データ構造体１１０
−１の所定の場所に書き込む。次に、ステップ８１４で
変数statusを０にリセットし、録画停止状態とする。
れた場合は、録画終了処理８１２を実行する。ここで
は、録画中に作成した超解像画像の、ヘッダー情報や画
像データ量および超解像画像を画像データ構造体１１０
−１の所定の場所に書き込む。次に、ステップ８１４で
変数statusを０にリセットし、録画停止状態とする。
【００３３】ステップ８２０ではstatusが１かどうかチ
ェックし、もし１であれば以下の処理を行う。ステップ
８２２では撮像素子１０２、画像圧縮エンコーダ１０４
を介して、画像を入力し、メモリ１１４上のIMAGE_BUF
（画像バッファ）１１４−２−１に記憶し、フレーム番
号を１つ更新する。次に、ステップ８２４において、IM
AGE_BUF１１４−２−１に記憶された入力画像から垂直
および水平方向の投影分布を計算する。以上の投影分布
は、それぞれ、図９のX_PROJ_CURRENT（現在フレームの
垂直投影分布配列）１１４−２−４およびY_PROJ_CURRE
NT（現在フレームの水平投影分布配列）１１４−２−６
に格納される。この投影分布は次のフレームの入力まで
保存されており、次のフレームの入力時に、それぞれ、
X_PROJ_LAST（前フレームの垂直投影分布配列）１１４
−２−３およびY_PROJ_LAST（前フレームの水平投影分
布配列）１１４−２−５に移動させられる。さらに次の
フレーム入力時には破棄される。
ェックし、もし１であれば以下の処理を行う。ステップ
８２２では撮像素子１０２、画像圧縮エンコーダ１０４
を介して、画像を入力し、メモリ１１４上のIMAGE_BUF
（画像バッファ）１１４−２−１に記憶し、フレーム番
号を１つ更新する。次に、ステップ８２４において、IM
AGE_BUF１１４−２−１に記憶された入力画像から垂直
および水平方向の投影分布を計算する。以上の投影分布
は、それぞれ、図９のX_PROJ_CURRENT（現在フレームの
垂直投影分布配列）１１４−２−４およびY_PROJ_CURRE
NT（現在フレームの水平投影分布配列）１１４−２−６
に格納される。この投影分布は次のフレームの入力まで
保存されており、次のフレームの入力時に、それぞれ、
X_PROJ_LAST（前フレームの垂直投影分布配列）１１４
−２−３およびY_PROJ_LAST（前フレームの水平投影分
布配列）１１４−２−５に移動させられる。さらに次の
フレーム入力時には破棄される。
【００３４】ステップ８２６では、一つ前のフレームの
投影分布と現在のフレームの投影分布とを照合してズー
ム率を検出する。この処理の詳細は図１０を参照して後
述する。ステップ８２８では、検出したズーム率に応じ
て、入力した画像をスケーリングし、SUPER_RESOLUTION
_IMAGE_BUF１１４−２−２に上書きする。ステップ８３
０でSUPER_RESOLUTION_IMAGE_BUF１１４−２−２の画像
をビデオメモリ１１６に転送し、デイスプレイ１２０に
超解像画像を表示する。この転送の際、ディスプレイの
解像度にあわせて、SUPER_RESOLUTION_IMAGE_BUF１１４
−２−２の内容を間引いて表示することもできる。解像
度の高いディスプレイは一般にコスト高となるため、よ
り解像度の低いディスプレイに対応する構成である。SU
PER_RESOLUTION_IMAGE_BUF１１４−２−２の内容をその
まま保存しておくことにより、必要に応じて別の表示装
置を介して高精細な表示や印刷が可能になる。
投影分布と現在のフレームの投影分布とを照合してズー
ム率を検出する。この処理の詳細は図１０を参照して後
述する。ステップ８２８では、検出したズーム率に応じ
て、入力した画像をスケーリングし、SUPER_RESOLUTION
_IMAGE_BUF１１４−２−２に上書きする。ステップ８３
０でSUPER_RESOLUTION_IMAGE_BUF１１４−２−２の画像
をビデオメモリ１１６に転送し、デイスプレイ１２０に
超解像画像を表示する。この転送の際、ディスプレイの
解像度にあわせて、SUPER_RESOLUTION_IMAGE_BUF１１４
−２−２の内容を間引いて表示することもできる。解像
度の高いディスプレイは一般にコスト高となるため、よ
り解像度の低いディスプレイに対応する構成である。SU
PER_RESOLUTION_IMAGE_BUF１１４−２−２の内容をその
まま保存しておくことにより、必要に応じて別の表示装
置を介して高精細な表示や印刷が可能になる。
【００３５】次に、本発明の超解像画像作成のための画
像間のズーム率検出の一実施例を図１０を用いて説明す
る。
像間のズーム率検出の一実施例を図１０を用いて説明す
る。
【００３６】ステップ１０００では垂直投影分布からズ
ーム率を検出して変数zoom_xに値をセットする。この処
理の詳細は後で図１１を用いて説明する。次にステップ
１１００で水平投影分布からズーム率を検出して変数zo
om_yに値をセットする。
ーム率を検出して変数zoom_xに値をセットする。この処
理の詳細は後で図１１を用いて説明する。次にステップ
１１００で水平投影分布からズーム率を検出して変数zo
om_yに値をセットする。
【００３７】ステップ１２００では、両者の予測したズ
ーム率を３つに分類して、分類結果が一致するかどうか
を調べる。まず、どちらの分類結果もズームインである
ことを確認するための判定条件として、zoom_x、zoom_y
が共に1.001より大きいことをチェックする。0.001が加
算されているのは、スティル状態を誤ってズームとしな
いための許容誤差を与えたものである。画像のサイズや
カメラ操作の速さなどに応じて許容誤差を与え、これに
より対象物の移動等による画像変動によって生じる誤っ
た判定が抑止される。次に、どちらの分類結果もズーム
アウトであることを確認するための判定条件として、zo
om_x、zoom_yが共に0.999より小さいことをチェックす
る。上記いずれでもない場合はスティルと判定する。
ーム率を３つに分類して、分類結果が一致するかどうか
を調べる。まず、どちらの分類結果もズームインである
ことを確認するための判定条件として、zoom_x、zoom_y
が共に1.001より大きいことをチェックする。0.001が加
算されているのは、スティル状態を誤ってズームとしな
いための許容誤差を与えたものである。画像のサイズや
カメラ操作の速さなどに応じて許容誤差を与え、これに
より対象物の移動等による画像変動によって生じる誤っ
た判定が抑止される。次に、どちらの分類結果もズーム
アウトであることを確認するための判定条件として、zo
om_x、zoom_yが共に0.999より小さいことをチェックす
る。上記いずれでもない場合はスティルと判定する。
【００３８】ズームアウトまたはズームインと判定され
た場合は、zoom_xを検出したときの照合誤差minval_xと
zoom_yを検出したときの照合誤差minval_yとを比較し、
小さい方のズーム率を画像間のズーム率を示す変数zoom
に設定する。これらはステップ１２０１から１２０６で
行う。またスティルの場合、ステップ１２０７で変数zo
omに1.0を設定する。
た場合は、zoom_xを検出したときの照合誤差minval_xと
zoom_yを検出したときの照合誤差minval_yとを比較し、
小さい方のズーム率を画像間のズーム率を示す変数zoom
に設定する。これらはステップ１２０１から１２０６で
行う。またスティルの場合、ステップ１２０７で変数zo
omに1.0を設定する。
【００３９】図１１は垂直投影分布からズーム率を検出
する処理の詳細であり、図１２は水平投影分布からズー
ム率を検出する処理の詳細である。両者は水平投影分布
から検出するか、垂直投影分布から検出するかの違いが
あるだけで、処理内容は同じである。そこで、図１１に
ついて詳細に説明する。
する処理の詳細であり、図１２は水平投影分布からズー
ム率を検出する処理の詳細である。両者は水平投影分布
から検出するか、垂直投影分布から検出するかの違いが
あるだけで、処理内容は同じである。そこで、図１１に
ついて詳細に説明する。
【００４０】ステップ１００１では前方予測時の照合誤
差を記憶する変数minval_f_xを十分大きな値に設定す
る。ステップ１００２では、連続する画像間のズーム率
はその変動範囲が限られるので、想定される範囲を変数
iに設定する。この例では、視野のサイズが−１０画素
から＋１０画素までの変動を想定している。
差を記憶する変数minval_f_xを十分大きな値に設定す
る。ステップ１００２では、連続する画像間のズーム率
はその変動範囲が限られるので、想定される範囲を変数
iに設定する。この例では、視野のサイズが−１０画素
から＋１０画素までの変動を想定している。
【００４１】ステップ１００３では、X_PROJ_LAST１１
４−２−３に格納された前フレームの投影分布から、視
野のサイズがｉ画素分変動したときの投影分布を生成
し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２
−７に格納する。仮の投影分布の生成はもとの投影分布
を１次元の投影軸の方向にスケーリングするだけである
ので高速に計算できる。次に、X_PROJ_CURRENT１１４−
２−６に格納された現在フレームの投影分布とX_PROJ_W
ORK１１４−２−７に格納された仮の投影分布との照合
を行い、その時の照合誤差を変数ERRORに格納する。ス
テップ１００５でERRORとminval_f_xとの値を比較し、E
RRORの方が小さいとき、そのときの変数iをmin_f_dxに
代入するとともに、minval_f_xにERRORの値を代入する
（ステップ１００６）。以上の処理を繰り返すことによ
って、変数min_f_dxには最もよく照合がとれた時のi、
及びそのときの照合誤差（minval_f_x）が求まる。
４−２−３に格納された前フレームの投影分布から、視
野のサイズがｉ画素分変動したときの投影分布を生成
し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２
−７に格納する。仮の投影分布の生成はもとの投影分布
を１次元の投影軸の方向にスケーリングするだけである
ので高速に計算できる。次に、X_PROJ_CURRENT１１４−
２−６に格納された現在フレームの投影分布とX_PROJ_W
ORK１１４−２−７に格納された仮の投影分布との照合
を行い、その時の照合誤差を変数ERRORに格納する。ス
テップ１００５でERRORとminval_f_xとの値を比較し、E
RRORの方が小さいとき、そのときの変数iをmin_f_dxに
代入するとともに、minval_f_xにERRORの値を代入する
（ステップ１００６）。以上の処理を繰り返すことによ
って、変数min_f_dxには最もよく照合がとれた時のi、
及びそのときの照合誤差（minval_f_x）が求まる。
【００４２】ステップ１００７では、上記の変数min_f_
dxの値を利用して、前方予測のズーム率を計算し、変数
zoom_f_xに格納する。画像の幅をｗとすると、ズーム率
は(ｗ＋min_f_dx) / wで計算できる。
dxの値を利用して、前方予測のズーム率を計算し、変数
zoom_f_xに格納する。画像の幅をｗとすると、ズーム率
は(ｗ＋min_f_dx) / wで計算できる。
【００４３】同様に、ステップ１０１１で後方予測時の
照合誤差を記憶する変数minval_b_xを十分大きな値に設
定し、ステップ１０１２で想定される変動範囲を変数i
に設定する。
照合誤差を記憶する変数minval_b_xを十分大きな値に設
定し、ステップ１０１２で想定される変動範囲を変数i
に設定する。
【００４４】ステップ１０１３では、X_PROJ_CURRENT１
１４−２−４に格納された現フレームの投影分布から、
視野のサイズがｉ画素分変動したときの投影分布を生成
し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２
−７に格納する。次にX_PROJ_LAST１１４−２−３に格
納された前フレームの投影分布とX_PROJ_WORK１１４−
２−７に格納された仮の投影分布との照合を行い、その
時の照合誤差を変数ERRORに格納する。ステップ１０１
５でERRORとminval_b_xとの値を比較し、ERRORの方が小
さいとき、そのときの変数iをmin_b_dxに代入するとと
もに、minval_f_xにERRORの値を代入する（ステップ１
０１６）。以上の処理を繰り返すことによって、変数mi
n_b_dxには最もよく照合がとれた時のi、及びそのとき
の照合誤差（minval_b_x）が求まる。
１４−２−４に格納された現フレームの投影分布から、
視野のサイズがｉ画素分変動したときの投影分布を生成
し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２
−７に格納する。次にX_PROJ_LAST１１４−２−３に格
納された前フレームの投影分布とX_PROJ_WORK１１４−
２−７に格納された仮の投影分布との照合を行い、その
時の照合誤差を変数ERRORに格納する。ステップ１０１
５でERRORとminval_b_xとの値を比較し、ERRORの方が小
さいとき、そのときの変数iをmin_b_dxに代入するとと
もに、minval_f_xにERRORの値を代入する（ステップ１
０１６）。以上の処理を繰り返すことによって、変数mi
n_b_dxには最もよく照合がとれた時のi、及びそのとき
の照合誤差（minval_b_x）が求まる。
【００４５】ステップ１０２０では、上記の変数min_b_
dxの値を利用して、後方予測のズーム率を計算し、変数
zoom_b_xに格納する。ズーム率はw / (ｗ＋min_b_dx)で
計算できる。
dxの値を利用して、後方予測のズーム率を計算し、変数
zoom_b_xに格納する。ズーム率はw / (ｗ＋min_b_dx)で
計算できる。
【００４６】ステップ１０２１から１０２４では、照合
誤差が一定の閾値よりも大きい場合はズーム検出の信頼
性が悪いと判定し、zoom_f_xおよびzoom_b_xとを1.0に
置き換える。
誤差が一定の閾値よりも大きい場合はズーム検出の信頼
性が悪いと判定し、zoom_f_xおよびzoom_b_xとを1.0に
置き換える。
【００４７】ステップ１０２５では、minval_f_xとminv
al_b_xとの値を比較し、ステップ１０２６またはステッ
プ１０２７で、値の小さい方のズーム予測値を変数zoom
_xに格納するとともにその時の照合誤差を変数minval_x
に格納する。このzoom_xが垂直投影分布からのズーム検
出結果となる。
al_b_xとの値を比較し、ステップ１０２６またはステッ
プ１０２７で、値の小さい方のズーム予測値を変数zoom
_xに格納するとともにその時の照合誤差を変数minval_x
に格納する。このzoom_xが垂直投影分布からのズーム検
出結果となる。
【００４８】図７は、ユーザのカメラ操作をディスプレ
イに表示するユーザインタフェース（画面表示）の一例
である。垂直投影分布７００および水平投影分布７０１
を、横軸に撮影時間、縦軸に投影位置として、時間推移
で表示する。これは、図５に示される垂直投影分布５０
１および水平投影分布５００の各配列の値を濃淡の階調
に変換し、各フレームにつき縦に１ライン表示すること
により得られる。図７に示されるパターンはカメラ操作
がズームアウトした状態から撮影を開始して、ズームイ
ンしていったときの投影分布を時系列に並べた推移の例
である。このような表示をディスプレィ１２０上に超解
像画像と並べて表示することで、カメラ操作の時間的な
状況がさらにユーザに理解しやすくなる。異なるカメラ
ワークであれば異なったパターンが表れる。例えば、ス
ティルであれば横軸に平行なパターンが、パンであれば
横軸に一定の角度をもって傾斜したパターンが表れる。
イに表示するユーザインタフェース（画面表示）の一例
である。垂直投影分布７００および水平投影分布７０１
を、横軸に撮影時間、縦軸に投影位置として、時間推移
で表示する。これは、図５に示される垂直投影分布５０
１および水平投影分布５００の各配列の値を濃淡の階調
に変換し、各フレームにつき縦に１ライン表示すること
により得られる。図７に示されるパターンはカメラ操作
がズームアウトした状態から撮影を開始して、ズームイ
ンしていったときの投影分布を時系列に並べた推移の例
である。このような表示をディスプレィ１２０上に超解
像画像と並べて表示することで、カメラ操作の時間的な
状況がさらにユーザに理解しやすくなる。異なるカメラ
ワークであれば異なったパターンが表れる。例えば、ス
ティルであれば横軸に平行なパターンが、パンであれば
横軸に一定の角度をもって傾斜したパターンが表れる。
【００４９】なお、本実施態様ではズームイン、ズーム
アウトのカメラ操作を利用して、画面の中心になるほど
高解像度の画像になる超高解像カメラを提供したが、カ
メラのパンやチルトの操作を併用することで画面の中心
だけでなく着目する領域を狙って高解像の画像を生成す
ることも可能である。例えば、図３のようにズームイン
した後にパン操作を行った場合、パン操作により得られ
る画像を時刻Teの画像に接続して上書きすることによ
り、より広い着目領域についての高解像画像を生成でき
る。
アウトのカメラ操作を利用して、画面の中心になるほど
高解像度の画像になる超高解像カメラを提供したが、カ
メラのパンやチルトの操作を併用することで画面の中心
だけでなく着目する領域を狙って高解像の画像を生成す
ることも可能である。例えば、図３のようにズームイン
した後にパン操作を行った場合、パン操作により得られ
る画像を時刻Teの画像に接続して上書きすることによ
り、より広い着目領域についての高解像画像を生成でき
る。
【００５０】さらに、ズーム操作とともにパン操作を行
った場合であっても、高解像の画像は生成可能である。
この場合には、ズーム率の予測に加えて位置ずれの予測
を行って超解像画像を生成する。
った場合であっても、高解像の画像は生成可能である。
この場合には、ズーム率の予測に加えて位置ずれの予測
を行って超解像画像を生成する。
【００５１】また、本実施の態様としては、図２に示す
ような一つの筺体に作りこまれたものに限られない。パ
ーソナルコンピュータのようなデジタルコンピュータ
に、動画が撮影可能なビデオカメラを接続し、ビデオカ
メラから取り込んだ画像に対して以上のような処理を行
い、ディジタルコンピュータのディスプレイ上に高解像
画像を表示することが可能であることももちろんであ
る。この場合、カメラ制御プログラム１１４−１に相当
する超解像画像生成プログラムを記憶した磁気ディス
ク、光ディスク等の記録媒体あるいはディジタルコンピ
ュータが接続されたネットワークを通じてディジタルコ
ンピュータに供給され、ディジタルコンピュータは記録
媒体より超解像画像生成プログラムをそのメインメモリ
に読み込む。このように、ディスプレイが撮像素子の解
像度よりも高解像度である限りにおいて、本発明は種々
変形した実施態様により実施される。
ような一つの筺体に作りこまれたものに限られない。パ
ーソナルコンピュータのようなデジタルコンピュータ
に、動画が撮影可能なビデオカメラを接続し、ビデオカ
メラから取り込んだ画像に対して以上のような処理を行
い、ディジタルコンピュータのディスプレイ上に高解像
画像を表示することが可能であることももちろんであ
る。この場合、カメラ制御プログラム１１４−１に相当
する超解像画像生成プログラムを記憶した磁気ディス
ク、光ディスク等の記録媒体あるいはディジタルコンピ
ュータが接続されたネットワークを通じてディジタルコ
ンピュータに供給され、ディジタルコンピュータは記録
媒体より超解像画像生成プログラムをそのメインメモリ
に読み込む。このように、ディスプレイが撮像素子の解
像度よりも高解像度である限りにおいて、本発明は種々
変形した実施態様により実施される。
【００５２】
【発明の効果】本発明によれば、広い視野角で、かつ注
目する領域については高い分解能で撮影したのと同様の
広角・高解像度の静止画を、低コストに、ロバストに、
かつリアルタイムに生成できる超解像カメラが実現でき
る。さらに、超解像画像の作成状況はディスプレイ上で
刻々と確認できるため、撮影の失敗を未然に防止でき
る。また、画像はコンピュータへ転送することができ、
高精細プリンタや高精細ディスプレイにより高精細な画
像として見ることが可能である。
目する領域については高い分解能で撮影したのと同様の
広角・高解像度の静止画を、低コストに、ロバストに、
かつリアルタイムに生成できる超解像カメラが実現でき
る。さらに、超解像画像の作成状況はディスプレイ上で
刻々と確認できるため、撮影の失敗を未然に防止でき
る。また、画像はコンピュータへ転送することができ、
高精細プリンタや高精細ディスプレイにより高精細な画
像として見ることが可能である。
【図１】本発明を実現するためのシステム構成図の一例
である。
である。
【図２】本発明の超解像カメラの外観を表す図の一例で
ある。
ある。
【図３】超解像画像の作成過程の概念図である。
【図４】２枚の画像の合成例である。
【図５】本発明のズーム率自動検出原理を示す図であ
る。
る。
【図６】仮の投影分布と基準の投影分布との照合を示す
図である。
図である。
【図７】投影分布の時空間画像の表示の一例である。
【図８】カメラ制御プログラムのフローチャートの一例
である。
である。
【図９】超解像画像生成のための制御データのデータ構
造の一例である。
造の一例である。
【図１０】超解像画像作成のための画像間のズーム率検
出の一実施例である。
出の一実施例である。
【図１１】垂直投影分布からズーム率を検出する処理の
フローチャートの一例である。
フローチャートの一例である。
【図１２】水平投影分布からズーム率を検出する処理の
フローチャートの一例である。
フローチャートの一例である。
１００…光学系、１０１…ファインダ、１０２…撮像素
子、１０４…画像圧縮エンコーダ、１０６…画像伸張デ
コーダ、１０８…バス、１１０…補助記憶装置、１１２
…ＣＰＵ、１１４…メモリ、１１６…ビデオメモリ、１
１８…Ｄ／Ａコンバータ、１２０…ディスプレイ、１２
２…超解像画像、１２３…入力Ｉ／Ｆ、１２４…アナロ
グ出力、１２６…マイク、１３０…スピーカ。
子、１０４…画像圧縮エンコーダ、１０６…画像伸張デ
コーダ、１０８…バス、１１０…補助記憶装置、１１２
…ＣＰＵ、１１４…メモリ、１１６…ビデオメモリ、１
１８…Ｄ／Ａコンバータ、１２０…ディスプレイ、１２
２…超解像画像、１２３…入力Ｉ／Ｆ、１２４…アナロ
グ出力、１２６…マイク、１３０…スピーカ。
Claims (16)
- 【請求項１】任意の情景を動画として撮影する撮像系
と、上記動画の録画開始から終了までの指示を受ける操
作入力手段と、ディスプレイとを有するカメラにおい
て、 上記撮像系で撮影された動画を構成する画像列に含まれ
る画像間でのズーム率を検出するズーム率検出手段を備
え、 上記ディスプレイには、上記ズーム率検出手段により検
出したズーム率に応じて、上記画像列の画像を逐次拡大
または縮小して上書き合成した高解像度画像が表示され
ることを特徴とするカメラ。 - 【請求項２】請求項１記載のカメラにおいて、 上記撮像系における解像度に比較して、上記ディスプレ
イは高精細であることを特徴とするカメラ。 - 【請求項３】請求項１記載のカメラにおいて、 上記撮像系で撮影可能な最大視野での画像を上記ディス
プレイに表示するためのスケーリング手段を備え、 上記ディスプレイには、上記操作入力手段による録画の
開始のタイミングから上記高解像度画像が逐次表示さ
れ、上記操作入力手段による録画の終了のタイミングで
録画区間に撮影された各画像を上書き合成した高解像度
画像が表示されることを特徴とするカメラ。 - 【請求項４】請求項３記載のカメラにおいて、 上記ディスプレイには、上記スケーリング手段により、
録画の開始時の画像が上記ディスプレイの予め設定され
た表示サイズになるようにスケーリングして表示され、
後続する画像は上記スケーリングを基準に上書き合成さ
れた高解像度画像が表示されることを特徴とするカメ
ラ。 - 【請求項５】請求項１記載のカメラにおいて、 書き込みと読み出しと消去が可能な画像蓄積手段を備
え、 上記画像蓄積手段には、複数の上記高解像度画像、連続
する画像間のズーム率、動画、静止画が格納できること
を特徴とするカメラ。 - 【請求項６】請求項５記載のカメラにおいて、 上記画像蓄積手段から読み出した動画のクリップから上
記高解像度画像を合成し、上記高解像度画像を上記画像
蓄積手段に格納することを特徴とするカメラ。 - 【請求項７】請求項１記載のカメラにおいて、 上記ズーム率検出手段は、 上記画像列に含まれる各画像の特徴量として、各画像の
水平投影分布及び垂直投影分布を作成する投影分布作成
手段と、 上記画像列に含まれる第一の画像の投影分布について複
数のズーム率を想定して拡大もしくは縮小した複数の仮
の投影分布を作成し、上記複数の仮の投影分布と第二の
画像の投影分布とを照合する投影分布を照合し、上記複
数の仮の投影分布のうち最もよく照合のとれたズーム率
を求める投影分布照合手段と、 上記水平投影分布及び上記垂直投影分布についてそれぞ
れ上記投影分布照合手段により求めたズーム率の整合性
を判定し、第一の画像と第二の画像との間のズーム率を
判定するズーム率判定手段とを有することを特徴とする
カメラ。 - 【請求項８】一連の画像列であって、上記画像列に含ま
れる任意の画像はその隣接する画像の等倍、拡大もしく
は縮小である画像列の入力を受け、上記画像列から静止
画を生成する画像合成方法において、 上記画像列に含まれる隣接する画像間でのズーム率を検
出し、 上記検出したズーム率に応じて、上記画像列の画像を逐
次拡大または縮小して上書き合成し、 上記上書き合成した画像を表示することを特徴とする画
像合成方法。 - 【請求項９】請求項８記載の画像合成方法において、 上記画像列に含まれる各画像の特徴量として、各画像の
水平投影分布及び垂直投影分布を作成し、 上記画像列に含まれる第一の画像の投影分布について複
数のズーム率を想定して拡大もしくは縮小した複数の仮
の投影分布を作成し、上記複数の仮の投影分布と上記第
一の画像に隣接する第二の画像の投影分布とを照合する
投影分布を照合して、上記複数の仮の投影分布のうち最
もよく照合のとれた第一のズーム率を求め、 上記水平投影分布及び上記垂直投影分布についてそれぞ
れ上記投影分布照合手段により求めた第一のズーム率の
整合性を判定し、上記第一の画像と上記第二の画像との
間のズーム率を検出することを特徴とする画像合成方
法。 - 【請求項１０】請求項９に記載の画像合成方法におい
て、 上記第二の画像の投影分布について複数のズーム率を想
定して拡大もしくは縮小した複数の仮の投影分布を作成
し、上記複数の仮の投影分布と上記第一の画像の投影分
布とを照合する投影分布を照合して、上記複数の仮の投
影分布のうち最もよく照合のとれた第二のズーム率を求
め、 上記水平投影分布及び上記垂直投影分布についてそれぞ
れ上記投影分布照合手段により求めた第二のズーム率の
整合性を判定し、上記第一のズーム率と上記第二のズー
ム率のいずれか照合誤差の小さい方を上記第一の画像と
上記第二の画像との間のズーム率として検出することを
特徴とする画像合成方法。 - 【請求項１１】請求項９または請求項１０に記載の画像
合成方法において、 上記投影分布は、画像を構成する画素の輝度値を水平も
しくは垂直方向に積分した結果を積分した個数で正規化
して求めることを特徴とする画像合成方法。 - 【請求項１２】請求項９に記載の画像合成方法におい
て、 上記投影分布を個々の値を画像の濃度とした１次元と、
録画区間の時間軸を１次元とする２次元の時空間画像と
して表示することを特徴とする画像合成方法。 - 【請求項１３】請求項９または請求項１０に記載の画像
合成方法において、 照合する２つの投影分布について、対応する要素間の差
分の絶対値の総和を求めるようにしたことを特徴とする
画像合成方法。 - 【請求項１４】請求項９または請求項１０に記載の画像
合成方法において、 上記垂直投影分布から求めたズーム率がズームイン、ズ
ームアウト、スティルの３種類のいずれかに分類される
とき、水平投影分布から求めたズーム率も同じ分類結果
になることを確認し、もし分類結果が異なる場合は強制
的にスティルとなるようにズーム率を１に設定し、一方
同じ場合は投影分布の照合誤差の小さい方のズーム率を
採用するようにしたことを特徴とする画像合成方法。 - 【請求項１５】一連の画像列であって、上記画像列に含
まれる任意の画像はその隣接する画像の等倍、拡大もし
くは縮小である画像列の入力を受け、上記画像列から静
止画を生成する画像合成装置において、 上記画像列に含まれる隣接する画像間でのズーム率を検
出する検出手段と、 上記検出したズーム率に応じて、上記画像列の画像を逐
次拡大または縮小して上書き合成する合成手段と、 上記上書き合成した画像を表示する表示手段とを有する
ことを特徴とする画像合成装置。 - 【請求項１６】コンピュータによって、一連の画像列で
あって、上記画像列に含まれる任意の画像はその隣接す
る画像の等倍、拡大もしくは縮小である画像列から静止
画を生成する制御プログラムを記録した記録媒体であっ
て、上記制御プログラムは、上記画像列に含まれる隣接
する画像間でのズーム率を検出し、上記検出したズーム
率に応じて、上記画像列の画像を逐次拡大または縮小し
て上書き合成し、上記上書き合成した画像をディスプレ
イに表示することを特徴とする画像合成制御プログラム
を記録した記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05310098A JP3695119B2 (ja) | 1998-03-05 | 1998-03-05 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
| EP99103053A EP0940978B1 (en) | 1998-03-05 | 1999-02-16 | High resolution camera |
| DE69930986T DE69930986T2 (de) | 1998-03-05 | 1999-02-16 | Hochauflösende Kamera |
| US09/257,059 US6750903B1 (en) | 1998-03-05 | 1999-02-25 | Super high resolution camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05310098A JP3695119B2 (ja) | 1998-03-05 | 1998-03-05 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11252428A true JPH11252428A (ja) | 1999-09-17 |
| JP3695119B2 JP3695119B2 (ja) | 2005-09-14 |
Family
ID=12933379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05310098A Expired - Lifetime JP3695119B2 (ja) | 1998-03-05 | 1998-03-05 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6750903B1 (ja) |
| EP (1) | EP0940978B1 (ja) |
| JP (1) | JP3695119B2 (ja) |
| DE (1) | DE69930986T2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241858A (ja) * | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 画像変換装置 |
| WO2008035636A1 (fr) * | 2006-09-22 | 2008-03-27 | Olympus Corporation | Dispositif de traitement d'image et programme de commande de traitement d'image |
| JPWO2006059504A1 (ja) * | 2004-11-30 | 2008-06-05 | 松下電器産業株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット |
| WO2008102898A1 (ja) * | 2007-02-19 | 2008-08-28 | Tokyo Institute Of Technology | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
| JP4838302B2 (ja) * | 2005-05-10 | 2011-12-14 | アクティブ オプティクス ピーティーワイ リミテッド | 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ |
| JP2012194237A (ja) * | 2011-03-15 | 2012-10-11 | Olympus Corp | 映像処理装置、映像表示装置、及び映像表示システム |
| US8315481B2 (en) | 2008-02-07 | 2012-11-20 | Sony Corporation | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program |
| WO2021255940A1 (ja) * | 2020-06-19 | 2021-12-23 | 株式会社ナイルワークス | 作物の生育診断を行うドローンと、そのカメラシステム |
Families Citing this family (85)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3991543B2 (ja) | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
| US7446783B2 (en) * | 2001-04-12 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | System and method for manipulating an image on a screen |
| US7286161B2 (en) * | 2002-02-21 | 2007-10-23 | Canon Kabushiki Kaisha | Digital camera, image processing apparatus, image processing method, image processing system, and program for setting plural trimming areas with respect to image data |
| GB2388265B (en) * | 2002-04-30 | 2005-10-12 | Hewlett Packard Co | Improvements in and relating to processing of images |
| US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
| JP3809411B2 (ja) * | 2002-09-27 | 2006-08-16 | キヤノン株式会社 | 画像処理方法及び装置並びに印刷装置 |
| JP4178987B2 (ja) * | 2003-02-14 | 2008-11-12 | 株式会社ニコン | 電子カメラ |
| US7209601B2 (en) * | 2003-07-22 | 2007-04-24 | Omnivision Technologies, Inc. | CMOS image sensor using high frame rate with frame addition and movement compensation |
| US7317479B2 (en) * | 2003-11-08 | 2008-01-08 | Hewlett-Packard Development Company, L.P. | Automated zoom control |
| US7920180B2 (en) * | 2004-04-06 | 2011-04-05 | Hewlett-Packard Development Company, L.P. | Imaging device with burst zoom mode |
| JP2005311878A (ja) * | 2004-04-23 | 2005-11-04 | Olympus Corp | カメラおよびカメラの制御方法 |
| JP4184319B2 (ja) * | 2004-06-10 | 2008-11-19 | オリンパス株式会社 | 撮像装置 |
| JP4433981B2 (ja) | 2004-10-29 | 2010-03-17 | ソニー株式会社 | 撮像方法および撮像装置 |
| GB0424767D0 (en) * | 2004-11-10 | 2004-12-08 | Koninkl Philips Electronics Nv | Method for generating images and optical device |
| JP4379728B2 (ja) * | 2005-01-31 | 2009-12-09 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| US7595823B2 (en) * | 2005-02-17 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Providing optimized digital images |
| US7970239B2 (en) | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
| US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
| US8019179B2 (en) * | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
| US7664383B2 (en) * | 2007-01-18 | 2010-02-16 | Sony Ericsson Mobile Communications Ab | Multiple frame photography |
| US20090044117A1 (en) * | 2007-08-06 | 2009-02-12 | Apple Inc. | Recording and exporting slide show presentations using a presentation application |
| JP4860739B2 (ja) * | 2009-09-03 | 2012-01-25 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
| WO2011040864A1 (en) | 2009-10-01 | 2011-04-07 | Scalado Ab | Method relating to digital images |
| SE534551C2 (sv) | 2010-02-15 | 2011-10-04 | Scalado Ab | Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild |
| US8872887B2 (en) * | 2010-03-05 | 2014-10-28 | Fotonation Limited | Object detection and rendering for wide field of view (WFOV) image acquisition systems |
| JP2011244058A (ja) * | 2010-05-14 | 2011-12-01 | Sony Corp | 情報処理装置、情報処理システム、及びプログラム |
| US20120236181A1 (en) | 2011-03-16 | 2012-09-20 | Qualcomm Incorporated | Generating a zoomed image |
| US8723959B2 (en) | 2011-03-31 | 2014-05-13 | DigitalOptics Corporation Europe Limited | Face and other object tracking in off-center peripheral regions for nonlinear lens geometries |
| SE1150505A1 (sv) | 2011-05-31 | 2012-12-01 | Mobile Imaging In Sweden Ab | Metod och anordning för tagning av bilder |
| EP2718896A4 (en) | 2011-07-15 | 2015-07-01 | Mobile Imaging In Sweden Ab | METHOD FOR PROVIDING ADJUSTED DIGITAL GRAPHIC REPRESENTATION OF VIEW AND APPROPRIATE APPARATUS |
| US8493459B2 (en) | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of distorted images |
| US8493460B2 (en) * | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of differently scaled images |
| JP2013128176A (ja) * | 2011-12-16 | 2013-06-27 | Sanyo Electric Co Ltd | 電子カメラ |
| KR20130092213A (ko) * | 2012-02-10 | 2013-08-20 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
| US9456143B2 (en) * | 2012-06-21 | 2016-09-27 | Sony Corporation | Image capture controlling device, image capture controlling method, and program |
| US8928730B2 (en) | 2012-07-03 | 2015-01-06 | DigitalOptics Corporation Europe Limited | Method and system for correcting a distorted input image |
| CN112911252B (zh) | 2012-11-28 | 2023-07-04 | 核心光电有限公司 | 多孔径成像*** |
| WO2014199338A2 (en) | 2013-06-13 | 2014-12-18 | Corephotonics Ltd. | Dual aperture zoom digital camera |
| CN105359006B (zh) | 2013-07-04 | 2018-06-22 | 核心光电有限公司 | 小型长焦透镜套件 |
| CN108718376B (zh) | 2013-08-01 | 2020-08-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像***及其使用方法 |
| US9215377B2 (en) * | 2013-12-04 | 2015-12-15 | Nokia Technologies Oy | Digital zoom with sensor mode change |
| FR3016703A1 (fr) * | 2014-01-21 | 2015-07-24 | Move N See | Procede et dispositif de commande de zoom d’un appareil de prise de vues |
| US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| JP2016092609A (ja) * | 2014-11-05 | 2016-05-23 | オリンパス株式会社 | 撮像装置および撮像装置の制御方法 |
| WO2016108093A1 (en) | 2015-01-03 | 2016-07-07 | Corephotonics Ltd. | Miniature telephoto lens module and a camera utilizing such a lens module |
| KR102160867B1 (ko) | 2015-04-02 | 2020-09-29 | 코어포토닉스 리미티드 | 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체 |
| KR101866482B1 (ko) | 2015-04-16 | 2018-06-11 | 코어포토닉스 리미티드 | 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화 |
| CN107533208B (zh) | 2015-05-28 | 2019-09-13 | 核心光电有限公司 | 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度 |
| KR102143309B1 (ko) | 2015-08-13 | 2020-08-11 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
| EP3474070B1 (en) | 2015-09-06 | 2020-06-24 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
| CN108353118B (zh) | 2015-12-29 | 2019-04-02 | 核心光电有限公司 | 具有自动可调节长焦视场的双孔径变焦数字摄影机 |
| KR102063411B1 (ko) | 2016-05-30 | 2020-01-07 | 코어포토닉스 리미티드 | 회전식 볼-가이드 음성 코일 모터 |
| WO2017221106A1 (en) | 2016-06-19 | 2017-12-28 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
| KR102226315B1 (ko) | 2016-07-07 | 2021-03-12 | 코어포토닉스 리미티드 | 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터 |
| US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
| CN110140078B (zh) | 2016-12-28 | 2021-11-19 | 核心光电有限公司 | 具有延伸光折叠元件扫描范围的折叠相机结构 |
| CN109417589B (zh) | 2017-01-12 | 2021-10-22 | 核心光电有限公司 | 紧凑型折叠式摄影机及其组装方法 |
| KR20240066298A (ko) | 2017-02-23 | 2024-05-14 | 코어포토닉스 리미티드 | 폴디드 카메라 렌즈 설계 |
| CN107071273A (zh) * | 2017-03-01 | 2017-08-18 | 北京橙鑫数据科技有限公司 | 一种拍照指令发送方法及装置 |
| EP3596543B1 (en) | 2017-03-15 | 2024-04-10 | Corephotonics Ltd. | Camera with panoramic scanning range |
| WO2019048904A1 (en) | 2017-09-06 | 2019-03-14 | Corephotonics Ltd. | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA |
| US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
| CN110140076B (zh) | 2017-11-23 | 2021-05-21 | 核心光电有限公司 | 紧凑型折叠式摄影机结构 |
| US10976567B2 (en) | 2018-02-05 | 2021-04-13 | Corephotonics Ltd. | Reduced height penalty for folded camera |
| WO2019155289A1 (en) | 2018-02-12 | 2019-08-15 | Corephotonics Ltd. | Folded camera with optical image stabilization |
| US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
| EP4109174A1 (en) | 2018-04-23 | 2022-12-28 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
| JP2019207635A (ja) * | 2018-05-30 | 2019-12-05 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 移動体、画像生成方法、プログラム、及び記録媒体 |
| EP3652728B1 (en) | 2018-08-04 | 2023-06-07 | Corephotonics Ltd. | Switchable continuous display information system above camera |
| US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
| WO2020144528A1 (en) | 2019-01-07 | 2020-07-16 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
| KR102268094B1 (ko) | 2019-03-09 | 2021-06-22 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
| KR102254947B1 (ko) | 2019-07-31 | 2021-05-24 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
| US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
| US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| WO2021116851A2 (en) | 2019-12-09 | 2021-06-17 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| CN114641805A (zh) | 2020-02-22 | 2022-06-17 | 核心光电有限公司 | 用于微距摄影的分屏特征 |
| US11693064B2 (en) | 2020-04-26 | 2023-07-04 | Corephotonics Ltd. | Temperature control for Hall bar sensor correction |
| CN117372249A (zh) | 2020-05-17 | 2024-01-09 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
| CN117518313A (zh) | 2020-05-30 | 2024-02-06 | 核心光电有限公司 | 用于获得超微距图像的*** |
| US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
| KR20230004887A (ko) | 2020-07-15 | 2023-01-06 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라에서의 시점 수차-보정 |
| US11946775B2 (en) | 2020-07-31 | 2024-04-02 | Corephotonics Ltd. | Hall sensor—magnet geometry for large stroke linear position sensing |
| EP4038432A4 (en) | 2020-08-12 | 2022-12-14 | Corephotonics Ltd. | OPTICAL IMAGE STABILIZATION IN A FOLDED SCANNING CAMERA |
| EP4204885A4 (en) | 2021-06-08 | 2024-03-06 | Corephotonics Ltd | SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5966275A (ja) * | 1982-10-08 | 1984-04-14 | Hitachi Denshi Ltd | テレビジヨンカメラ |
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
| JP3335413B2 (ja) * | 1992-04-14 | 2002-10-15 | オリンパス光学工業株式会社 | 電子カメラ |
| US5889553A (en) * | 1993-11-17 | 1999-03-30 | Canon Kabushiki Kaisha | Image pickup apparatus capable of high resolution imaging |
| JP3471964B2 (ja) * | 1995-03-28 | 2003-12-02 | キヤノン株式会社 | 撮像装置 |
| SE512350C2 (sv) * | 1996-01-09 | 2000-03-06 | Kjell Olsson | Ökat skärpedjup i fotografisk bild |
-
1998
- 1998-03-05 JP JP05310098A patent/JP3695119B2/ja not_active Expired - Lifetime
-
1999
- 1999-02-16 DE DE69930986T patent/DE69930986T2/de not_active Expired - Lifetime
- 1999-02-16 EP EP99103053A patent/EP0940978B1/en not_active Expired - Lifetime
- 1999-02-25 US US09/257,059 patent/US6750903B1/en not_active Expired - Lifetime
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006059504A1 (ja) * | 2004-11-30 | 2008-06-05 | 松下電器産業株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット |
| US7924315B2 (en) | 2004-11-30 | 2011-04-12 | Panasonic Corporation | Image processing method, image processing apparatus, image processing program, and image file format |
| JP4701187B2 (ja) * | 2004-11-30 | 2011-06-15 | パナソニック株式会社 | 画像処理方法、画像処理装置、および画像処理プログラム |
| US8780213B2 (en) | 2004-11-30 | 2014-07-15 | Panasonic Corporation | Image processing method, image processing apparatus, image processing program, and image file format |
| JP4838302B2 (ja) * | 2005-05-10 | 2011-12-14 | アクティブ オプティクス ピーティーワイ リミテッド | 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ |
| JP2007241858A (ja) * | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 画像変換装置 |
| JP4746450B2 (ja) * | 2006-03-10 | 2011-08-10 | パナソニック株式会社 | 画像変換装置 |
| WO2008035636A1 (fr) * | 2006-09-22 | 2008-03-27 | Olympus Corporation | Dispositif de traitement d'image et programme de commande de traitement d'image |
| WO2008102898A1 (ja) * | 2007-02-19 | 2008-08-28 | Tokyo Institute Of Technology | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
| US8315481B2 (en) | 2008-02-07 | 2012-11-20 | Sony Corporation | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program |
| JP2012194237A (ja) * | 2011-03-15 | 2012-10-11 | Olympus Corp | 映像処理装置、映像表示装置、及び映像表示システム |
| WO2021255940A1 (ja) * | 2020-06-19 | 2021-12-23 | 株式会社ナイルワークス | 作物の生育診断を行うドローンと、そのカメラシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0940978B1 (en) | 2006-04-26 |
| EP0940978A2 (en) | 1999-09-08 |
| EP0940978A3 (en) | 2003-11-26 |
| JP3695119B2 (ja) | 2005-09-14 |
| DE69930986T2 (de) | 2006-12-07 |
| DE69930986D1 (de) | 2006-06-01 |
| US6750903B1 (en) | 2004-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695119B2 (ja) | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 | |
| US7760962B2 (en) | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced | |
| JP4250543B2 (ja) | 撮像装置及び情報処理装置及びそれらの制御方法 | |
| US6466262B1 (en) | Digital wide camera | |
| US8014566B2 (en) | Image processing apparatus | |
| EP1667418B1 (en) | Digital camera having video file creating function | |
| US8462253B2 (en) | Monitoring system for a photography unit, monitoring method, computer program, and storage medium | |
| JP3993922B2 (ja) | 画像変形装置および方法 | |
| US9390535B2 (en) | Image processing device and method, and program | |
| US20100128138A1 (en) | Imaging device, image display device, and program | |
| US20070268394A1 (en) | Camera, image output apparatus, image output method, image recording method, program, and recording medium | |
| US20070222858A1 (en) | Monitoring system, monitoring method and program therefor | |
| JP2006115525A (ja) | 電子カメラ | |
| EP2006857A1 (en) | Image processing apparatus, image processing method and program | |
| JP3750499B2 (ja) | 電子カメラ | |
| JP2003179798A (ja) | デジタルカメラ | |
| JP4497761B2 (ja) | 画像処理装置及びインデックス作成方法 | |
| JP4609315B2 (ja) | 撮像装置、ズーム時の画角枠表示方法、およびプログラム | |
| JP3893416B2 (ja) | 電子スチルカメラおよびその画像データ記録再生方法 | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| JPH11168685A (ja) | 画像処理方法 | |
| JP2010068222A (ja) | 顔検出制御装置、顔検出制御プログラムおよび顔検出制御方法 | |
| EP1496684A2 (en) | Imaging apparatus, imaging method, imaging system, program | |
| JP2004088558A (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP3969172B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |