JP4062036B2

JP4062036B2 - Image processing apparatus and method, and program

Info

Publication number: JP4062036B2
Application number: JP2002284977A
Authority: JP
Inventors: 謙太郎田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2008-03-19
Anticipated expiration: 2022-09-30
Also published as: JP2004120700A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、容易に、指定された画像をより高画質に所定の表示領域に表示することができるようにした、画像処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、デジタルカメラや撮像機能を有するPDA（Personal Digital Assistants）等に代表される撮像機能を有する小型の電子機器が普及している。これらの電子機器は、通常、LCD（Liquid Crystal Display）等のディスプレイを備えており、撮像した画像を表示することができる。
【０００３】
例えば、デジタルカメラの場合、被写体を撮像して生成された静止画像データは、通常、JPEG（Joint Photographic Experts Group）方式等に代表される画像圧縮技術を用いて圧縮され、元画像データと比較してデータ量が減らされたJPEG画像データとして保存される。
【０００４】
JPEG圧縮方式は、離散コサイン変換処理（DCT（Discrete Cosine Transform））、量子化処理、および符号化処理等を用いて元画像データを圧縮する方式である。通常、この圧縮されたJPEG画像データには、圧縮画像データの他に、ヘッダ部に、簡易表示用に、対応する画像サイズが小さいサムネイル画像データが添付されている。
【０００５】
例えば、DCF（Design rule for Camera File system）フォーマットの場合、Exif（Exchangeable Image File Format）規格に従って、画素数が１６０×１２０のサムネイル画像をヘッダ部に添付することができる。デジタルカメラは、このサムネイル画像をディスプレイに表示することにより、容易に撮像画像を表示することができる。
【０００６】
ところで、この撮像画像を表示する表示領域は大きいほど、ユーザは、より正確に撮像結果を知ることができるとともに、娯楽性が高く、人気が高い。近年においては、より大きなディスプレイがデジタルカメラ等の電子機器に備えられる傾向にあり、特に、撮像機能を有するPDAにおいては、サムネイル画像の画像サイズより大きな表示領域を有する場合が多い。
【０００７】
このような場合、サムネイル画像を拡大して、サムネイル画像の画像サイズより大きな表示領域に表示すると、画像が粗くなってしまう。
【０００８】
そこで、サムネイル画像を表示する代わりに、保存されている圧縮画像データより表示領域のサイズと同じ大きさの画像サイズの表示用画像データを生成し、表示する方法がある（例えば、特許文献１参照）。
【０００９】
【特許文献１】
特開２００２−１６５１１６号公報（第９−１０ページ、図５）
【００１０】
【発明が解決しようとする課題】
しかしながら、以上のような方法においては、ユーザが表示を指示する度に圧縮画像データを伸張し、表示用画像データを生成しなければならず、画像処理能力が低い小型の電子機器の場合、その処理に要する負荷が大きく、処理速度が低下してしまうという課題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、容易に、指定された画像をより高画質に所定の表示領域に表示することができるようにしたものである。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、非圧縮の画像データである元画像データを圧縮し、圧縮画像データを生成するとともに、元画像データのサムネイル画像に対応するサムネイル画像データを生成する第１の生成手段と、第１の生成手段により生成された圧縮画像データおよびサムネイル画像データを記憶する記憶手段と、元画像データより、元画像データに対応する画像が表示される第１の表示領域の大きさと同じである、元画像データの表示用画像に対応する表示用画像データを生成する第２の生成手段と、生成手段により生成された表示用画像データを、同じ元画像データに対応するサムネイル画像データに関連付けて保持する保持手段と、複数のサムネイル画像を第１の表示領域とは異なる第２の表示領域に表示する第１の表示制御手段と、第１の表示制御手段により第２の表示領域に表示された複数のサムネイル画像の中から１枚のサムネイル画像を選択する選択手段と、保持手段により保持されており、選択手段により選択されたサムネイル画像に関連付けられた表示用画像データに対応する画像を、元画像データの表示用画像として第１の表示領域に表示する第２の表示制御手段とを備えることを特徴とする。
【００１３】
前記第１の表示領域の大きさは、サムネイル画像の画像サイズより大きいサイズであるようにすることができる。
【００１４】
ユーザからの指示を受け付ける受け付け手段をさらに備え、選択手段は、受け付け手段により受け付けられたユーザからの指示に基づいて、サムネイル画像を選択するようにすることができる。
【００１５】
被写体を撮像し、撮像により得られる撮像画像に対応する撮像画像データを生成する撮像手段をさらに備え、第１の生成手段は、撮像手段により撮像されて生成された撮像画像データを圧縮し、圧縮画像データを生成するとともに、元画像データのサムネイル画像に対応するサムネイル画像データを生成し、第２の生成手段は、撮像画像データより、撮像画像データの表示用画像に対応する表示用画像データを生成するようにすることができる。
【００１６】
前記撮像手段により撮像されて得られた撮像画像を、動画像として、第１の表示領域に表示する第３の表示制御手段をさらに備えるようにすることができる。
【００１７】
本発明の画像処理方法は、非圧縮の画像データである元画像データを圧縮し、圧縮画像データを生成するとともに、元画像データのサムネイル画像に対応するサムネイル画像データを生成する第１の生成ステップと、第１の生成ステップの処理により生成された圧縮画像データおよびサムネイル画像データの記憶を制御する記憶制御ステップと、元画像データより、元画像データに対応する画像が表示される第１の表示領域の大きさと同じである、元画像データの表示用画像に対応する表示用画像データを生成する第２の生成ステップと、生成ステップの処理により生成された表示用画像データの、同じ元画像データに対応するサムネイル画像データに関連付けた保持を制御する保持制御ステップと、複数のサムネイル画像の、第１の表示領域とは異なる第２の表示領域への表示を制御する第１の表示制御ステップと、第１の表示制御ステップの処理により、第２の表示領域への表示が制御された複数のサムネイル画像の中から１枚のサムネイル画像を選択する選択ステップと、保持制御ステップの処理により保持が制御されており、選択ステップの処理により選択されたサムネイル画像に関連付けられた表示用画像データに対応する画像の、元画像データの表示用画像としての、第１の表示領域への表示を制御する第２の表示制御ステップとを含むことを特徴とする。
【００１８】
本発明のプログラムは、非圧縮の画像データである元画像データを圧縮し、圧縮画像データを生成するとともに、元画像データのサムネイル画像に対応するサムネイル画像データを生成する第１の生成ステップと、元画像データより、元画像データに対応する画像が表示される表示領域の大きさと同じである、元画像データの表示用画像に対応する表示用画像データを生成する第２の生成ステップと、複数のサムネイル画像データの中から１つのサムネイル画像データを選択する選択ステップと、選択ステップの処理により選択されたサムネイル画像データに関連付けられた表示用画像データに対応する画像の、元画像データの表示用画像としての、表示領域への表示を制御する表示制御ステップとをコンピュータに実現させることを特徴とする。
【００１９】
本発明の画像処理装置および方法、並びにプログラムにおいては、非圧縮の画像データである元画像データが圧縮され、圧縮画像データが生成されるとともに、元画像データのサムネイル画像に対応するサムネイル画像データが生成され、その生成された圧縮画像データおよびサムネイル画像データが記憶され、元画像データより、元画像データに対応する画像が表示される第１の表示領域の大きさと同じである、元画像データの表示用画像に対応する表示用画像データが生成され、その生成された表示用画像データが、同じ元画像データに対応するサムネイル画像データに関連付けて保持され、複数のサムネイル画像が第１の表示領域とは異なる第２の表示領域に表示され、第２の表示領域に表示された複数のサムネイル画像の中から１枚のサムネイル画像が選択され、保持されており、選択されたサムネイル画像に関連付けられた表示用画像データに対応する画像が、元画像データの表示用画像として第１の表示領域に表示される。
【００２０】
【発明の実施の形態】
図１は、本発明を適用したPDAの正面の構成例を表す図である。
【００２１】
図１に示されるように、PDA１は、中央のヒンジ部１２を境に、表示部１１と本体部１３とに分けられており、ヒンジ部１２を介して折り畳み可能に形成されている。
【００２２】
表示部１１の面１１−１のほぼ全面には、LCD（Liquid Crystal Display）２８、および、LCD２８の表面上に積層された透明な感圧式のタッチパネル３６が設けられている。即ち、タッチペン３５が、LCD２８上の任意の位置に配置されると、その座標がタッチパネル３６により検出され、検出された座標に対応する所定の処理が行われる。
【００２３】
また、タッチパネル３６の所定の領域（LCD２８の図中下方の領域）には、文字を入力するための文字入力エリア２９が設けられており、文字入力エリア２９には、種々のソフトボタンや文字入力エリア等が表示される。ユーザが、タッチペン３５を操作して、その文字入力エリア上にそれらの特殊文字を書くと、その特殊文字が入力される。即ち、タッチペン３５が移動した軌跡がタッチパネル３６により検知され、その軌跡に対応する文字が入力される。
【００２４】
ヒンジ部１２には、図中右方に、PDA１の電源をオンまたはオフ状態にする電源ボタン３１が、その左隣に、PDA１に内蔵されているバッテリ（図示せず）が充電中の場合には点灯し、充電が終了すると消灯するLED（Light Emitting Diode）３０が、さらにその左隣に、CCD（Charge Coupled Device）よりなる回動可能なカメラ２２が、左端には、カメラ２２で被写体を撮像するとき操作されるキャプチャーボタン２３が、それぞれ設けられている。
【００２５】
即ち、ユーザは、被写体を撮像する場合、キャプチャーボタン２３を１回押下して、カメラ機能（被写体をカメラ２２により撮像し、その撮像された被写体の画像を記録する機能）を有するアプリケーションソフトウェアを起動させ、カメラ２２の撮像方向を被写体に向けるように回動させる。このとき、LCD２８には、後述するように、カメラ２２が撮像している画像（被写体の画像）が表示されるので、ユーザは、LCD２８を確認しながらカメラ２２の位置を確定し、シャッターボタンとして機能するキャプチャーボタン２３を再度押下する。これにより、キャプチャーボタン２３が押下された時点のカメラ２２により撮像された画像が、PDA１のメモリ（後述する図３のRAM１３３等）に記憶される。
【００２６】
本体部１３の折り畳んだとき表示部１１に対向する面１３−１には、図中上方に、PDA１にインストールされているアプリケーションソフトウェアのそれぞれを表すシンボルが印刷されたボタン３２が設けられており、ユーザがその指でボタン３２を押下すると、それに対応するアプリケーションソフトウェアが起動される。
【００２７】
また、面１３−１のボタン３２が配置されている領域の中央部には、LCD２８に表示されている画像をスクロールするためのスクロールボタン３３が設けられている。さらに、面１３−１のボタン３２の下方には、文字（記号等を含む）を入力するためのキーボード３４が設けられている。
【００２８】
本体部１３の面１３−１と垂直な面（側面）１３−２の、図中上方には、リモートコントローラ、または、外部のヘッドホンと接続し、接続したそれらに音声を出力するためのヘッドホンジャック２４が設けられており、その下方には、押下および回転自在なジョグダイヤル２５が面１３−２から僅かに突出した状態で設けられており、その下方には、直前の操作を取り消したりするためのバックボタン２６が設けられており、さらにその下方には、誤って他のボタンが押下された場合、それに対応する機能の実行を禁止するためのホールドスイッチ２７が設けられている。
【００２９】
本体部１３の面１３−１に垂直な面（図中下側の端面）１３−４の、中央部には、付属機器を接続するためのコネクタ６７が設けられている。
【００３０】
図２は、PDA１の裏面の構成例を表している。図２に示されるように、ヒンジ部１２の図中左側上部には、抜き差し自在な所定のメモリカードや機能拡張モジュールが装着されるスロット６４、メモリスティック内のデータが読み書きされている場合に点灯するランプ６３、および、赤外線で他の装置と通信するための赤外線ポート６２が設けられている。
【００３１】
メモリカードは、例えば、小型薄型形状のプラスチックケース内に電気的に書き換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものであり、画像や音声、音楽等の各種情報（データ）の書き込みおよび読み出しが可能となっている。
【００３２】
またメモリカードは、大容量化等による内蔵フラッシュメモリの仕様変更に対しても、使用する機器で互換性を確保することができる独自のシリアルプロトコルを採用し、最大書込速度1.5[MB/S] 、最大読出速度2.45[MB/S]の高速性能を実現していると共に、誤消去防止スイッチを設けて高い信頼性を確保しているようにしてもよい。
【００３３】
従って、PDA１は、このようなメモリカードを挿着することができるために、メモリカードを介して他の装置との間でデータの共有化を図ることができる。
【００３４】
本体部１３の面１３−１の反対側の面１３−３の中央部の図中左側には、PDA１をリセットするためのリセットボタン６５が設けられており、その下方には、音声を出力するためのスピーカ６６が設けられている。
【００３５】
本体部１３の面１３−１，１３−３に垂直な面（図中下側の端面）１３−４の、中央部には、上述したように、コネクタ６７が設けられており、その図中左方には、タッチペン３５を収納する収納口６８が設けられている。
【００３６】
図３は、PDA１の内部の構成例を示すブロック図である。
【００３７】
CPU（Central Processing Unit）１３１は、ROM（Read Only Memory）１３２に記憶されているプログラム、または記憶部１３９からRAM（Random Access Memory）１３３にロードされたプログラムに従って各種の処理を実行する。
【００３８】
RAM１３３にはまた、CPU１３１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００３９】
CPU１３１、ROM１３２、およびRAM１３３は、バス１３４を介して相互に接続されている。このバス１３４にはまた、LCD２８に表示させる画像を制御する表示制御部１３６が接続されている。
【００４０】
表示制御部１３６には、CPU１３１の制御に基づいて、上述したカメラ２２、および、LCD２８の他、VRAM１３８が接続されている。表示制御部１３６は、カメラ２２により撮像された画像を、VRAM１３８に記憶させ、そのVRAM１３８に記憶されている画像や、他のメモリ（RAM１３３、記憶部１３９、スロット６４に接続されたメモリカード１４３）に記憶されている画像を、LCD２８に表示させる。
【００４１】
バス１３４にはさらにまた、入出力インタフェース１３５も接続されている。
【００４２】
入出力インタフェース１３５には、上述したキーボード３４、各種ボタン２２，３２，３３、および、ジョグダイヤル２５等からなる入力部１３７、タッチパネル３６、赤外線通信ポート６２、メモリカード１４３若しくは機能拡張モジュール１２１が装着されるスロット６４、PDA１が内蔵するバッテリ（図示せず）を充電させるとともに、他の外部装置１５２との通信の中継装置となるクレードル９１等が接続されるコネクタ６７、並びに、リモートコントローラ１０１若しくはヘッドホン１５３と接続される音声出力部としてのヘッドホンジャック２４が接続されている。
【００４３】
なお、タッチパネル３６により検出された座標は、入出力インタフェース１３５、バス１３４を介してCPU１３１に提供され、CPU１３１は、提供されたその座標に対応する所定の情報を取得する。
【００４４】
入出力インタフェース１３５にはまた、必要に応じて、ハードディスクなどより構成される記憶部１３９が接続される。外部装置１５２に適宜装着される磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどから読み出されたコンピュータプログラムは、赤外線ポート６２を介する無線通信、無線LANモジュール（機能拡張モジュール）１２１を介する無線通信、または、クレードル９１を介する有線通信等の手段により、必要に応じてPDA１に対して供給され、記憶部１３９にインストールされる。または、スロット６４に適宜装着されるメモリカード１４３から読み出されたコンピュータプログラムも、必要に応じて記憶部１３９にインストールされる。
【００４５】
入出力インタフェース１３５にはさらにまた、表示部１１が本体部１３に対して閉状態の場合、オン状態となり、かつ、表示部１１が本体部１３に対して開状態の場合、オフ状態となるLCD開閉スイッチ１４４、表示部１１が所定の回動角度以上回動された場合にオン状態となるLCD回転スイッチ１４５、および、カメラ２２が所定の回動角度以上回動された場合にオン状態となるカメラ回転スイッチ１４６が設けられている。
【００４６】
即ち、この例においては、CPU１３１は、LCD開閉スイッチ１４４、LCD回転スイッチ１４５、および、カメラ回転スイッチ１４６の、それぞれのオン状態またはオフ状態に基づいて、表示部１１の本体部１３に対する開閉の状態（以下、LCD開閉状態と称する）、および回動状態、並びに、カメラ２２の回動状態を認識する。
【００４７】
カメラ２２は、図４に示されるように構成される。図４に示されるように、カメラ２２には、所定の方向に走査して、被写体の画像を、レンズ１７１を介して取り込む撮像素子としてのCCD（Charge Coupled Device）１７２が備えられており、PLD(Programmable Logic Device)１７３に制御されて入射光を電気信号に変換する。
【００４８】
また、PLD１７３には、取り込まれた画像データを処理するDSP（Digital Signal Processor）１７４、SDRAM（Synchronous Dynamic Random Access Memory）等の半導体メモリにより構成される内蔵RAM１７６、CCD１７２による撮像動作および走査方向等を適宜制御したりするカメラコントローラ１７６等が内蔵されている。
【００４９】
PLD１７３は、CPU１３１の制御に基づいて、EEPROM(Electrically Erasable and Programmable Read only Memory)１７５より取得した各種の処理を実行させるプログラムや初期値データを用いて各種の処理を行う。
【００５０】
DSP１７４は、CPU１３１の制御に基づいて、CCD１７２により取り込まれた画像データから、LCD２８の表示領域のサイズに合わせた画像サイズの表示用画像データを生成し、図３の表示制御部１３６に供給するとともに、取り込まれた画像データを内蔵RAM１７６に順次記憶させる。内蔵RAM１７６に記憶された画像データは、キャプチャ時の静止画像表示に用いられたり、保存用のJPEGデータの生成に利用されたりする。
【００５１】
すなわち、DSP１７４は、CPU１３１に制御され、撮像処理前のモニタモード時においては、CCD１７２より取り込まれた画像データから、最適な表示用画像データを生成し、図３の表示制御部１３６に順次供給することにより、LCD２８の所定の表示領域に動画像としての表示用画像（以下、表示用動画像と称する）を表示させる。
【００５２】
そして、ユーザがボタン２３を押下する等して撮像処理が指示されると、キャプチャモードに移行し、DSP１７４は、CPU１３１に制御され、表示部１３６への表示用画像データの出力を停止し、CCD１７２から画像データを静止画像データとして取り込み、所定の処理を行った後、その画像データから、保存用のJPEGデータを生成するとともに、最適な表示用画像データを生成し、図３の表示制御部１３６に供給する。これにより、LCD２８の所定の表示領域には、撮像画像である静止画像としての表示用画像（以下、表示用静止画像と称する）として表示される。
【００５３】
その後、後述するように、ユーザが表示領域上のタッチパネルをタップしたり、ボタン２３を半押ししたりすると、キャプチャモードからモニタモードに戻り、DSP１７４は、CPU１３１に制御され、LCD２８の所定の表示領域に表示用動画像を表示させるように動作する。
【００５４】
なお、キャプチャモード時に、表示制御部１３６に供給された表示用画像データは、VRAM１３８に供給され、対応する表示用静止画像がLCD２８に表示されるとともに、バス１３４を介してRAM１３３にも供給され、保持される。
【００５５】
RAM１３３は、所定の数（例えば、最新の３つ分）の表示用画像データを保持し、対応する保存用のJPEGデータに関連付けて管理しており、CPU１３１に制御され、指示された画像を、バス１３４を介して表示制御部１３６に供給する。表示制御部１３６は、RAM１３３より供給された表示用画像データをVRAM１３８に供給し、対応する表示用静止画像をLCD２８の所定の表示領域に表示する。
【００５６】
以上のように、表示領域のサイズに合わせた画像サイズの表示用画像データが、保存用の圧縮画像データやサムネイル画像データとは別に、キャプチャモード時に取り込まれた画像データより生成され、RAM１３３に保持されるので、PDA１は、容易に、ユーザに指定された画像を、高画質な状態で表示領域に表示することができる。
【００５７】
図５は、撮像処理に関するハードウェアおよびソフトウェアのシステム構成の例を示す模式図である。
【００５８】
図５において、図中上側のブロックが図中下側のブロックを制御するように動作する。
【００５９】
カメラアプリケーション１８１は、カメラ設定モジュール１８２、ファインダモジュール１８３、キャプチャモジュール１８４、およびファイル管理モジュールなどの各種の機能を有している。
【００６０】
また、カメラアプリケーション１８１は、図６に示されるように、ユーザインタフェース２０１およびインタフェースモジュール２０２を有しており、ユーザからの指示を受け付けたり、ユーザに操作案内等を表示したりすることができる。
【００６１】
これらの機能により、カメラアプリケーション１８１は、ユーザの指示などに基づいて、マルチメディアライブラリ１９１やAV（Audio Visual）ライブラリ１９２を用いて、カメラドライバ１９３を制御して、撮像処理を行ったり、撮像された画像を、デバイスマネージャ１９７を介してLCD２８に表示させたりする。
【００６２】
カメラドライバ１９３は、USBドライバ１９４やYUVドライバ１９５などを用いて、カメラ２２の各部を制御し撮像処理を行い、画像データを取得したり、取得した画像データを、RAM１３３やメモリカード１４３に記憶させ、ファイルシステム１９６の管理に管理させたりする。
【００６３】
例えば、CCD１７１において取り込まれた画像データより生成される表示用画像データは、YUVドライバ１９５の制御により、モニタ画像用パラレルバスであるYUVバスを介して転送され、AVライブラリ１９２に制御されたカメラドライバ１９３およびデバイスマネージャ１９７の処理により、対応する画像がLCD２８に表示される。また、キャプチャモード時に取り込まれる、撮像画像に対応する表示用画像データは、カメラドライバ１９３によりRAM１３３に供給され、ファイルシステム１９６によって管理される。
【００６４】
また、CCD１７１においてキャプチャモード時に撮像された画像データより生成されるJPEGデータの場合、撮像画像データが一度内蔵RAM１７５に保持された後、JPEGデータに変換される。そして、JPEGデータは、USBドライバ１９４に制御されて、USBバスを介して転送され、カメラドライバ１９３の制御により、メモリカード１４３またはRAM１３３に記憶される。メモリカード１４３やRAM１３３に記憶されたJEPGデータは、ファイルシステム１９６により管理される。
【００６５】
次に、以上のようなPDA１によるカメラ２２により撮像した画像の表示に関する処理について、図７のフローチャートを参照して説明する。また、必要に応じて図８を参照して説明する。
【００６６】
ユーザがカメラアプリケーション１８１を起動すると、カメラアプリケーション１８１により各部が制御され、カメラ２２を用いた静止画撮像を行うためのモニタモードに移行する。モニタモードにおいては、CCD１７２より取り込まれた画像は、LCD２８の表示領域（後述する図８のEVF（Electronic View Finder）エリア２１１）に動画像として表示される。
【００６７】
CPU１３１は、ステップＳ１において、PLD１７３を制御して、CCD１７２により取り込まれた、新たな取り込み画像データより画像サイズを調整した表示用画像データを生成させる。このとき、PLD１７３は、表示用画像の画像サイズを、LCD２８に表示されているGUI（Graphical User Interface）に設けられた画像表示領域（後述する図８のEVFエリア２１１）のサイズに合わせるように調整する。
【００６８】
通常、画像表示領域のサイズは、取り込み画像の画像サイズより小さい。従って、PLD１７３は、取り込み画像データより所定の方法で、データを間引く等して表示用画像データを生成する。例えば、撮影画像データ（保存用のJPEGデータ）に対応する撮影画像の画像サイズは、１６００ドット×１２００ドットであり、表示されるサムネイル画像の画像サイズが８０ドット×６０ドットである場合に、PLD１７３は、３２０ドット×２４０ドットの、表示領域のサイズと一致する表示用画像データを、撮影画像データより生成する。なお、このとき、必要であれば、表示用画像データに対して、画質向上のための画像処理を施すようにしてもよい。
【００６９】
そして、表示用画像データを生成したPLD１７３は、その表示用画像データを表示制御部１３６に供給する。
【００７０】
CPU１３１は、ステップＳ２において、表示制御部１３６を制御して、表示制御部１３６が取得した表示用画像データをVRAM１３８に保持させ、表示用画像データに対応する表示用動画像をLCD２８に表示させる。
【００７１】
図８は、LCD２８に表示されるGUIの例を示す図である。
【００７２】
図８においては、GUIは、取り込み画像である表示用画像を表示するEVFエリア２１１、撮像操作に関するボタン等を表示するカメラコントロールエリア２１２、撮像画像のサムネイル画像を表示する簡易ビューエリア２１３、他のアプリケーションとの連携操作に関するボタン等を表示する連携エリア２１４、および、カメラアプリケーション１８１以外の機能のステータス情報を表示するステータスバーエリア２１５により構成されている。
【００７３】
EVFエリア２１１は、表示用画像を表示する表示領域であり、PLD１７３により作成されたJPEGデータのサムネイル画像の画像サイズより大きなサイズであり、かつ、JPEGデータの圧縮画像データに対応する画像（または元画像）の画像サイズより小さなサイズである。
【００７４】
また、EVFエリア２１１には、AF（Auto Focus）機能の状態を示すAFイルミネータ２２１や、AF機能が焦点を調整する範囲を示すAF枠２２２が表示されている。
【００７５】
カメラコントロールエリア２１２には、撮像に関する各種のステータス情報などを通知する表示専用アイコン群２２３、ユーザが操作することにより、EVFエリア２１１に表示された表示用画像の明度を調整する明るさ調整バー２２４、ユーザが操作することにより、各種の撮像に関する設定を行う撮像機能用ボタン群２２５が表示されている。
【００７６】
簡易ビューアエリア２１３には、最新の３枚の撮像画像に対応するサムネイル画像が表示されるサムネイル画像表示部２２６乃至２２８が設けられている。サムネイル画像表示部２２６乃至２２８には、サムネイル画像が1枚ずつ表示されている。サムネイル画像は、左から順に、新しい順に並んでおり、サムネイル画像表示部２２６に表示された画像が最も新しい撮像画像のサムネイル画像である。
【００７７】
図３のRAM１３３は、サムネイル画像表示部２２６に表示されているサムネイル画像に対応するJPEGデータおよび表示用画像データを保持しており、例えば、ユーザがサムネイル画像表示部２２６乃至２２８に設けられた選択ボタン２２６Ａ乃至２２８Ａのうちの１つを操作すると、RAM１３３は、その画像に対応する表示用画像データを表示制御部１３６に供給し、対応する表示用静止画像がEVFエリアに表示される。
【００７８】
また、新たな撮像が行われると、その撮像画像に対応するサムネイル画像がサムネイル画像表示部２２６に表示される。そして、現在表示されている画像は、１つずつ図面右方向にずれていき、最も右側のサムネイル画像表示部２２６に表示されている画像は消去される。
【００７９】
このときRAM１３３は、消去された画像に対応する表示用画像データを消去し、新たに撮像された撮像画像に対応するJPEGデータおよび表示用画像データを保持する。
【００８０】
簡易ビューエリア２１３には、また、ユーザに操作されることにより、表示されているサムネイル画像を保護したり、順番を変更したり、削除したりする表示操作アイコン群２２９が表示されている。
【００８１】
連携エリア２１４には、ユーザが撮像された画像に対応するJPEGデータを保存するカテゴリを指定することができるアルバムカテゴリ選択欄２３０が表示されている。JPEGデータは、RAM１１３、記憶部１３９、またはメモリカード１４３等に記憶され、図５のファイルシステム１９６によりカテゴリごとに管理される。
【００８２】
連携エリア２１４には、また、ユーザが操作することにより、他のアプリケーションを起動させる連携ボタン群２３１が表示されている。
【００８３】
ステータスバーエリア２１５には、電池の残量や、メモリカード１４３の状態等、カメラアプリケーション以外のステータス情報等を示すステータス情報群２３２が表示されている。また、時刻を表示する時刻表示部２３３も設けられている。
【００８４】
以上においては、簡易ビューエリア２１３には、最新の３つのサムネイル画像が表示されるように説明したが、これに限らず、サムネイル画像を何枚表示するようにしてもよい。また、サムネイル画像は、同時に表示する必要は無く、例えば、スクロールバー等を設けて、表示する画像を切り替えることができるようにしてもよい。
【００８５】
なお、RAM１３３は、表示されるサムネイル画像に対応する全ての表示用画像データを保持しているのが望ましいが、特定の表示用画像データのみを保持するようにしてもよい。その場合、対応する表示用画像データがRAM１３３保持されていないサムネイル画像が選択されると、EVFエリア２１１には何も表示されないようにしてもよいし、JPEGデータより表示用画像データが再度生成され、対応する表示用静止画像が表示されるようにしてもよい。
【００８６】
さらに、図８において示されるGUIには、少なくとも、表示用画像を表示するEVFエリア２１１と、サムネイル画像を表示するサムネイル画像表示部２２６乃至２２８のうちの１つがあればよく、それ以外の機能は省略することも可能である。また、上述した以外の機能が表示されるようにしてももちろんよい。
【００８７】
図７に戻り、CPU１３１は、ステップＳ３において、入力部１３７またはタッチパネル３６より供給されるユーザの入力を監視し、撮像処理が開始されたか否かを判定する。
【００８８】
ユーザがボタン２３を押下するなどして、撮像処理が開始され、キャプチャモードに移行したと判定した場合、CPU１３１は、処理をステップＳ４に進める。
【００８９】
キャプチャモードに移行すると、CPU１３１は、ステップＳ４において、CCD１７２を制御して静止画像データとして画像データを取り込み、PLD１７３を制御して取り込まれた画像データより表示用画像データを生成し、その最後に生成した表示用画像データを内蔵RAM１７６に保持させる。
【００９０】
そして、ステップＳ５において、CPU１３１は、PLD１７３を制御して、黒色の画像を表示制御部１３６に供給させ、LCD２８のEVFエリア２１１に表示されている表示用画像を消去する。
【００９１】
ステップＳ６において、CPU１３１は、PLD１７３を制御して、DSP１７４による撮像画像に対する画像処理が終了したか否かを判定し、終了したと判定するまで待機する。
【００９２】
そして、画像処理が終了したと判定した場合、CPU１３１は、ステップＳ７に処理を進め、PLD１７３を制御して、ステップＳ４において、内蔵RAM１７６に保存している表示用画像データを表示制御部１３６に供給させ、LCD２８のEVFエリア２１１に表示用静止画像を表示させるとともに、表示用画像データをRAM１３３に供給させ、RAM１３３に表示用画像データを保持させる。
【００９３】
ステップＳ８において、CPU１３１は、入力部１３７またはタッチパネル３６より供給されるユーザの入力に基づいて、表示する表示用静止画像の切り替えが指示されたか否かを判定する。
【００９４】
ユーザが図８の現在EVFエリア２１１に対応する表示用静止画像が表示されていないサムネイル画像表示部の選択ボタン上のタッチパネル３６をタップする等して、表示する表示用静止画像の切り替えを指示したと判定した場合、CPU１３１は、ステップＳ９において、指定されたサムネイル画像に対応する表示用画像データをRAM１３３より取得し、表示制御部１３６に供給し、対応する表示用静止画像をEVFエリア２１１に表示させる。そして、CPU１３１は、処理をステップＳ１０に進める。
【００９５】
ステップＳ８において、表示する表示用静止画像の切り替えが指示されていないと判定した場合、CPU１３１は、ステップＳ９の処理を省略し、ステップＳ１０に処理を進める。
【００９６】
ステップＳ１０において、CPU１３１は、入力部１３７またはタッチパネル３６より供給されるユーザの入力に基づいて、EVFエリア２１１に表示用動画像を表示するか否かを判定する。
【００９７】
ユーザが表示用動画像の表示を指示しておらず、表示用動画像を表示しないと判定した場合、CPU１３１は、処理をステップＳ１１に進め、画像表示処理を終了するか否かを判定する。そして、画像表示処理を終了しないと判定した場合、CPU１３１は、ステップＳ８に処理を戻し、それ以降の処理を繰り返す。
【００９８】
すなわち、CPU１３１は、ユーザの指示等に基づいて、EVFエリア２１１に表示用動画像を表示させたり、画像表示処理を終了させたりするまで、指定されたサムネイル画像に対応する表示用静止画像をEVFエリア２１１に表示させる。
【００９９】
また、ステップＳ３において、ユーザが、ボタン２３を押下する等しておらず、撮像処理が開始されていないと判定した場合、CPU１３１は、処理をステップＳ１２に進める。
【０１００】
ステップＳ１２において、CPU１３１は、ユーザの入力等に基づいて、表示用静止画像を表示するか否かを判定する。例えば、サムネイル画像表示部の選択ボタン上のタッチパネル３６をタップする等して、ユーザが表示用静止画像の表示を指示し、表示用静止画像を表示すると判定した場合、CPU１３１は、処理をステップＳ９に戻し、それ以降の処理を繰り返す。
【０１０１】
ステップＳ１２において、表示用静止画像を表示しないと判定した場合、CPU１３１は、処理をステップＳ１３に進める。また、ステップＳ１０において、ユーザがEVFエリア２１１上のタッチパネル３６をタップしたり、ボタン２３を半押ししたりして表示用動画像の表示を指示したと判定した場合、CPU１３１は、処理をステップＳ１３に進める。
【０１０２】
ステップＳ１３において、CPU１３１は、画像表示処理を終了するか否かを判定する。そして、画像表示処理を終了しないと判定した場合、CPU１３１は、処理をステップＳ１に戻し、それ以降の処理を繰り返す。
【０１０３】
また、ステップＳ１３において、画像表示処理を終了すると判定した場合、CPU１３１は、ステップＳ１４に処理を進める。また、ステップＳ１１において、ユーザの指示等に基づいて、画像表示処理を終了させると判定した場合、CPU１３１は、処理をステップＳ１４に進める。
【０１０４】
ステップＳ１４において、CPU１３１は、終了処理を行い、画像表示処理を終了する。
【０１０５】
以上のように、画像表示処理が実行される。これにより、高画質な表示用画像を容易にEVFエリア２１１に表示することができる。
【０１０６】
次に、図９のタイミングチャートを参照して、撮像時における具体的な処理の流れを説明する。また、必要に応じて、図１０を参照して説明する。
【０１０７】
時刻Ｔ０のモニタモード時において、PLD１７３は、画像処理として動画像表示処理３２１を実行しており、最新の表示用画像データ（EVF３４１）を出力している。そして、LCD２８のEVFエリア２１１には、その表示用画像データに対応する表示用動画像（EVF３０１）が表示されている。これらの処理は、図９のステップＳ１およびＳ２の処理に対応する。
【０１０８】
このとき、ユーザがステップＳ３１において、ボタン２３を半押し操作すると、CPU１３１は、ステップＳ４１において、その入力を検知し、ステップＳ４２において、その入力に対応する半押しコマンドをPLD１７３に供給する。
【０１０９】
PLD１７３がCPU１３１より供給された半押しコマンドをステップＳ８１において取得すると、PLD１７３は、ステップＳ８２において、カメラコントローラ１７７を制御して、AE（Auto Exposure）,AWB（Auto White Balance）、およびAF等の処理を行う。このとき、処理が開始された時刻Ｔ１から、PLD１７３は、表示制御部１３６を制御して、図８のAFイルミネータ２２１を点滅させる。
【０１１０】
そして、それらの処理が完了すると（時刻Ｔ２）、ステップＳ８３において、CPU１３１に、AF終了ステータス信号を供給するとともに、表示制御部１３６を制御して、図８のAFイルミネータ２２１を点灯させる。
【０１１１】
ステップＳ４３において、AF終了ステータス信号を取得したCPU１３１は、ステップＳ４４において、ユーザに処理が終了したことを示すために所定の効果音を再生し、図２のスピーカ６６等より出力する。
【０１１２】
この効果音を聞いたり、LCD２８のEVFエリア２１１に表示されているAFイルミネータ２２１が点灯したのを目視したりして、AF等の処理が終了したこと認識し、撮像位置を決定したユーザは、ステップＳ３２において、ボタン３２を全押し操作する等して、静止画像の取り込みを指示する。
【０１１３】
CPU１３１は、ステップＳ４５において、このユーザの入力を検知すると（図７のステップＳ３）、ステップＳ４６において、PLD１７３に、全押しコマンドを供給する。PLD１７３は、ステップＳ８４において、この全押しコマンドを取得すると、時刻Ｔ３において、AFイルミネータ２２１を消灯し、時刻Ｔ４において、キャプチャモードに移行する。
【０１１４】
キャプチャモードに移行した時刻Ｔ４において、PLD１７３は、ステップＳ８５の処理を実行し、露光開始ステータス信号をCPU１３１に供給する。また、PLD１７３は、時刻Ｔ４から、カメラコントローラ１７７を制御して、露光処理３２２を開始し、さらに、表示用画像データの出力を停止し、EVFエリア２１１全体が黒色の画像となるように、黒画像データおよび同期信号３４２を表示制御部１３６に出力する。これにより、LCD２８のEVFエリア２１１には、黒画像３０２が表示される。また、このとき、PLD１７３は、最後に生成した表示用画像データを内蔵RAM１７６に保存する。この処理は、図７のステップＳ４およびＳ５の処理に対応する。
【０１１５】
CPU１３１は、PLD１７３より出力された露光開始ステータスを、ステップＳ４７において取得すると、ステップＳ４８において、所定の効果音を再生し、図２のスピーカ６６等より出力する。
【０１１６】
そして、時刻Ｔ５において、露光処理３２２が完了すると、PLD１７３は、ステップＳ８６において、CPU１３１に露光終了ステータス信号を供給するとともに、CCD１７２からの画像データの取り込み処理３２３を開始する。
【０１１７】
CPU１３１は、ステップＳ４９において、露光終了ステータス信号を取得すると、ステップＳ５０において、所定の効果音を再生し、スピーカ６６等より出力する。
【０１１８】
時刻Ｔ６において、取り込み処理が完了すると、PLD１７３は、取り込んだ画像データに対して、画像処理３２４を開始する。
【０１１９】
時刻Ｔ７において、画像処理が終了すると、PLD１７３は、表示用静止画像表示可能ステータス信号をCPU１３１に供給する。そして、静止画表示処理３２５を開始し、内蔵RAM１７６に保存している表示用静止画像データ３４３の表示制御部１３６への出力を開始するとともに、画像処理した画像データのJPEGエンコード３２６を開始する。
【０１２０】
JPEGエンコードは、図１０に示されるように、内蔵RAM１７６を用いて、実行され、作成されたJPEGデータも、内蔵RAM１７６により一時保持される。
【０１２１】
表示用静止画像表示可能ステータスをステップＳ５１において取得すると、CPU１３１は、ステップＳ５２において、表示制御部１３６を制御して、表示用静止画像データの取得を開始させる。表示制御部１３６は、PLD１７３より表示用静止画像データを取得すると、対応する表示用静止画像をLCD２８のEVFエリア２１１に表示させる。これらの処理は、図７のステップＳ６およびＳ７の処理に対応する。
【０１２２】
そして、時刻Ｔ８において、JPEGエンコード３２６が終了すると、PLD１７３は、ステップＳ８８において、JPEG出力ステータス信号をCPU１３１に供給する。ステップＳ５３において、このJPEG出力ステータス信号を取得すると、CPU１３１は、ステップＳ５４において、生成されたJPEGデータの取得を開始する。この処理は、JPEGデータの転送が完了するまで続けられる。
【０１２３】
図１０に示されるように、JPEGデータは、内蔵RAM１７６より、USBのメインバス３７２を介して、表示制御部１３６に供給される。その際、PLD１７３と表示制御部１３６は、USBの制御バス３７１により互いに制御し合い、JPEGデータの転送を行う。そして、表示制御部１３６は、取得したJPEGデータのサムネイル画像データに対応するサムネイル画像をLCD２８のサムネイル画像表示部２２６に表示させるとともに、そのJPEGデータを、バス１３４などを介して、例えば、RAM１３３や、図１０に示されるようにメモリカード１４３に供給し、記録させる。
【０１２４】
そして、ユーザが、ステップＳ３３において、LCD２８のEVFエリア２１１上のタッチパネル３６を操作したり、または、ボタン２３を半押し若しくは全押し操作をしたりして、モニタモードへの移行を指示すると、CPU１３１は、ステップＳ５５において、その入力を取得し、ステップＳ５６において、その入力に対応するコマンドをPLD１７３に供給する。
【０１２５】
時刻Ｔ９において、PLD１７３がステップＳ８９の処理により、そのコマンドを取得すると、キャプチャモードからモニタモードに移行し、動画像表示処理３２７を開始する。すなわち、時刻Ｔ７から時刻Ｔ９までの期間３４３Ａの間、LCD２８のEVFエリア２１１には、撮像画像である表示用静止画像が表示される。
【０１２６】
動画像表示処理３２７においては、動画像表示処理３２１と同様に、CCD１７２において取り込まれた画像データより表示用画像データが順次生成され、EVF３４４として表示制御部１３６に出力される。これにより、LCD２８のEVFエリア２１１には、表示用動画像であるEVF３０４が表示される。
【０１２７】
以上のように、非圧縮の表示用画像データがJPEG画像とは別に用意され、保持されるので、容易に、最適な表示画像を表示領域に表示することができる。
【０１２８】
なお、上述したように、撮像画像に対応する表示用画像データは、RAM１３３に保持されており、ユーザが、LCD２８に表示されているサムネイル画像上のタッチパネル３６を操作することにより、RAM１３３に保持されている表示用画像データに対応する表示用画像をLCD２８のEVFエリア２１１に、即座に表示することができ、撮像処理の場合と同様に、容易に、最適な表示画像を表示領域に表示することができる。
【０１２９】
以上においては、撮像機能付きPDAを用いて説明したが、これに限らず、非圧縮の画像データより圧縮画像データを生成するとともに、その画像データに対応する画像をディスプレイなどに表示する電子機器であれば何でもよい。特に、画像圧縮伸張に要する負荷の影響が大きい電子機器、例えば、デジタルカメラ、撮像機能付き携帯電話機、撮像機能付きPDA等のような、処理能力の小さい、小型の電子機器であるほうが、その効果は顕著である。
【０１３０】
また、以上においては、カメラ２２やLCD２８等は、１台のPDAとして構成されるように説明したが、これに限らず、上述したPDA１の各部が別体で構成されるようにしてもよい。
【０１３１】
さらに、以上においては、画像データを圧縮し、JPEGデータを生成するように説明したが、これに限らず、どのような圧縮方式およびデータ形式であってもよい。
【０１３２】
また、上述した例においては、スロット６４に装着されるメモリは、メモリカード１４３であったが、スロット６４が対応できる記録媒体であれば限定されない。例えば、図示はしないが、その他の半導体メモリ、磁気ディスク、光ディスク、または光磁気ディスク等でもよい。
【０１３３】
なお、以上の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムがPDA１に、ネットワークや記録媒体からインストールされる。ただし、記録媒体は、PDA１に直接装着される場合のみならず、必要に応じて他の装置に装着される場合もある。この場合、他の装置とPDA１が相互に通信を行うことで、プログラムがPDA１にインストールされる。
【０１３４】
この記録媒体は、図３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されているメモリスティック１４３といった半導体メモリのみならず、図示はしないが、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read only Memory),DVD(Digital Versatile Disk)を含む）、もしくは光磁気ディスク（ＭＤ（Mini-Disk）を含む）などよりなるパッケージメディアにより構成されることができる。さらに、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているROM１３２や、ハードディスクとしての記憶部１３９などで構成される。
【０１３５】
なお、以上においては、各フローチャートに示される処理は、図３のCPU１３１がソフトウェアにより実行するようにしたが、各処理を実行するハードウェアを用意するようにして、ハードウェアにより実行されるようにすることも、もちろん可能である。
【０１３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３７】
【発明の効果】
以上のように、本発明によれば、所定の表示領域に画像を表示することができる。特に、容易に、指定された画像をより高画質に所定の表示領域に表示することができる。
【図面の簡単な説明】
【図１】本発明を適用したPDAの正面の構成例を表す外観図である。
【図２】図１のPDAの裏面の構成例を表す外観図である。
【図３】図１のPDA１の内部の構成例を示すブロック図である。
【図４】図１のカメラの詳細な構成例を示すブロック図である。
【図５】撮像処理に関するハードウェアおよびソフトウェアのシステム構成例を示す模式図である。
【図６】図５のカメラアプリケーションの詳細な構成例を示す模式図である。
【図７】図１のPDAによる画像表示処理を説明するフローチャートである。
【図８】図１のLCDに表示されるGUIの例を示す図である。
【図９】撮像時における具体的な処理の流れを説明するタイミングチャートである。
【図１０】画像データの転送の様子を示す模式図である。
【符号の説明】
２２カメラ，２８ LCD，１３１ CPU，１３３ RAM，１３６表示制御部，１３９記憶部，１４３メモリカード，１７２ CCD，１７３ PLD，１７４ DSP，１７６内蔵RAM，１７７カメラコントローラ，１８１カメラアプリケーション，２１１ EVFエリア，２２６乃至２２８サムネイル画像表示部，３２５静止画表示処理，３４３表示用静止画像データ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program capable of easily displaying a designated image in a predetermined display area with higher image quality. .
[0002]
[Prior art]
In recent years, small electronic devices having an imaging function such as a digital camera and a PDA (Personal Digital Assistants) having an imaging function have become widespread. These electronic devices usually include a display such as an LCD (Liquid Crystal Display), and can display captured images.
[0003]
For example, in the case of a digital camera, still image data generated by imaging a subject is usually compressed using an image compression technique typified by the JPEG (Joint Photographic Experts Group) method, and compared with the original image data. Is saved as JPEG image data with a reduced data amount.
[0004]
The JPEG compression method is a method of compressing original image data using a discrete cosine transform process (DCT (Discrete Cosine Transform)), a quantization process, an encoding process, and the like. Normally, in addition to the compressed image data, the compressed JPEG image data is attached with thumbnail image data having a small corresponding image size in the header portion for simple display.
[0005]
For example, in the case of the DCF (Design Rule for Camera File system) format, a thumbnail image having a number of pixels of 160 × 120 can be attached to the header portion according to the Exif (Exchangeable Image File Format) standard. The digital camera can easily display the captured image by displaying the thumbnail image on the display.
[0006]
By the way, the larger the display area for displaying this captured image, the more accurately the user can know the imaging result, and the higher the entertainment and the higher the popularity. In recent years, electronic devices such as digital cameras tend to be equipped with larger displays. In particular, PDAs having an imaging function often have a display area larger than the image size of thumbnail images.
[0007]
In such a case, if the thumbnail image is enlarged and displayed in a display area larger than the image size of the thumbnail image, the image becomes rough.
[0008]
Therefore, instead of displaying thumbnail images, there is a method of generating and displaying display image data having the same size as the size of the display area from the stored compressed image data (see, for example, Patent Document 1). ).
[0009]
[Patent Document 1]
JP 2002-165116 A (page 9-10, FIG. 5)
[0010]
[Problems to be solved by the invention]
However, in the above method, every time the user instructs display, the compressed image data must be expanded to generate display image data. In the case of a small electronic device with low image processing capability, There is a problem that the load required for the processing is large and the processing speed is reduced.
[0011]
The present invention has been made in view of such a situation, and can easily display a designated image in a predetermined display area with higher image quality.
[0012]
[Means for Solving the Problems]
The image processing apparatus of the present invention compresses original image data that is uncompressed image data, generates compressed image data, and first generation means for generating thumbnail image data corresponding to a thumbnail image of the original image data And storage means for storing the compressed image data and thumbnail image data generated by the first generation means, and the size of the first display area in which an image corresponding to the original image data is displayed from the original image data The second generation means for generating display image data corresponding to the display image of the original image data, and the display image data generated by the generation means are converted into thumbnail image data corresponding to the same original image data. Holding means for associating and holding, first display control means for displaying a plurality of thumbnail images in a second display area different from the first display area, A selection means for selecting one thumbnail image from a plurality of thumbnail images displayed in the second display area by one display control means, and a thumbnail image held by the holding means and selected by the selection means And second display control means for displaying an image corresponding to the display image data associated with the first display area as a display image of the original image data.
[0013]
The size of the first display area can be larger than the image size of the thumbnail image.
[0014]
The apparatus may further include a receiving unit that receives an instruction from the user, and the selection unit may select a thumbnail image based on the instruction from the user received by the receiving unit.
[0015]
The image processing apparatus further includes an imaging unit that captures an image of a subject and generates captured image data corresponding to a captured image obtained by the imaging, and the first generation unit compresses and compresses the captured image data generated by the imaging unit. The image data is generated and thumbnail image data corresponding to the thumbnail image of the original image data is generated, and the second generation means generates display image data corresponding to the display image of the captured image data from the captured image data. Can be generated.
[0016]
It is possible to further include third display control means for displaying the captured image obtained by imaging by the imaging means as a moving image in the first display area.
[0017]
The image processing method of the present invention compresses original image data, which is uncompressed image data, generates compressed image data, and generates a thumbnail image data corresponding to a thumbnail image of the original image data. A storage control step for controlling storage of the compressed image data and thumbnail image data generated by the processing of the first generation step, and a first display for displaying an image corresponding to the original image data from the original image data The same original image data of the second generation step for generating display image data corresponding to the display image of the original image data, which is the same as the size of the region, and the display image data generated by the processing of the generation step A holding control step for controlling the holding associated with the thumbnail image data corresponding to the first display area of the plurality of thumbnail images. A first display control step for controlling display in a second display area different from the above, and a plurality of thumbnail images whose display in the second display area is controlled by the processing of the first display control step. The holding step is controlled by the selection step for selecting one thumbnail image and the holding control step, and the image corresponding to the display image data associated with the thumbnail image selected by the selection step processing is selected. And a second display control step for controlling display on the first display area as a display image of the original image data.
[0018]
The program of the present invention compresses original image data which is non-compressed image data, generates compressed image data, and generates a thumbnail image data corresponding to a thumbnail image of the original image data; A second generation step of generating, from the original image data, display image data corresponding to the display image of the original image data, which has the same size as the display area in which the image corresponding to the original image data is displayed; A selection step of selecting one thumbnail image data from among the thumbnail image data, and display of original image data of an image corresponding to the display image data associated with the thumbnail image data selected by the processing of the selection step A display control step for controlling display on a display area as an image is realized in a computer. That.
[0019]
In the image processing apparatus, method, and program of the present invention, original image data that is uncompressed image data is compressed to generate compressed image data, and thumbnail image data corresponding to the thumbnail image of the original image data is stored. The generated compressed image data and thumbnail image data are stored, and the original image data having the same size as the first display area in which the image corresponding to the original image data is displayed is displayed from the original image data. Display image data corresponding to the display image is generated, the generated display image data is held in association with thumbnail image data corresponding to the same original image data, and a plurality of thumbnail images are stored in the first display area. One of the plurality of thumbnail images displayed in the second display area different from the second display area. Thumbnail image is selected, are held, the image corresponding to the display image data associated with the selected thumbnail image is displayed in the first display area as a display image of the original image data.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram illustrating an example of a front configuration of a PDA to which the present invention is applied.
[0021]
As shown in FIG. 1, the PDA 1 is divided into a display portion 11 and a main body portion 13 with a central hinge portion 12 as a boundary, and is formed to be foldable via the hinge portion 12.
[0022]
An LCD (Liquid Crystal Display) 28 and a transparent pressure-sensitive touch panel 36 laminated on the surface of the LCD 28 are provided on almost the entire surface 11-1 of the display unit 11. That is, when the touch pen 35 is placed at an arbitrary position on the LCD 28, the coordinates are detected by the touch panel 36, and predetermined processing corresponding to the detected coordinates is performed.
[0023]
In addition, a character input area 29 for inputting characters is provided in a predetermined area of the touch panel 36 (lower area of the LCD 28 in the figure), and various soft buttons and character input are provided in the character input area 29. Area etc. are displayed. When the user operates the touch pen 35 and writes those special characters on the character input area, the special characters are input. That is, the locus of movement of the touch pen 35 is detected by the touch panel 36, and characters corresponding to the locus are input.
[0024]
On the right side of the figure, a power button 31 for turning on or off the PDA 1 is displayed on the hinge portion 12, and a battery (not shown) built in the PDA 1 is being charged on the left side of the hinge portion 12 when charging. Is turned on, and an LED (Light Emitting Diode) 30 that is turned off when charging is completed, and a rotatable camera 22 composed of a CCD (Charge Coupled Device) is located on the left side of the LED 30. A capture button 23 that is operated when taking an image is provided.
[0025]
That is, when the user captures an image of a subject, the user presses the capture button 23 once to activate application software having a camera function (a function of capturing an image of the captured subject and recording an image of the captured subject). The camera 22 is rotated so that the imaging direction of the camera 22 is directed toward the subject. At this time, as will be described later, an image captured by the camera 22 (an image of the subject) is displayed on the LCD 28, so that the user confirms the position of the camera 22 while confirming the LCD 28 and uses it as a shutter button. Press the functioning capture button 23 again. As a result, the image captured by the camera 22 when the capture button 23 is pressed is stored in the memory of the PDA 1 (RAM 133 in FIG. 3 described later).
[0026]
On the surface 13-1 facing the display unit 11 when the main body unit 13 is folded, a button 32 on which symbols representing application software installed in the PDA 1 are printed is provided in the upper part of the figure. When the user presses the button 32 with his / her finger, the corresponding application software is activated.
[0027]
A scroll button 33 for scrolling the image displayed on the LCD 28 is provided at the center of the area where the button 32 on the surface 13-1 is arranged. Further, a keyboard 34 for inputting characters (including symbols and the like) is provided below the button 32 on the surface 13-1.
[0028]
A headphone jack for connecting a remote controller or an external headphone to the surface (side surface) 13-2 perpendicular to the surface 13-1 of the main body 13 and outputting sound to the connected headphone is shown above. 24, and a jog dial 25 that can be pressed and rotated slightly protrudes from the surface 13-2, and below that is for canceling the previous operation. A back button 26 is provided, and further below that, a hold switch 27 is provided for prohibiting the execution of a function corresponding to the other button being pressed by mistake.
[0029]
A connector 67 for connecting an accessory device is provided at the center of a surface (lower end surface in the drawing) 13-4 perpendicular to the surface 13-1 of the main body 13.
[0030]
FIG. 2 shows a configuration example of the back surface of the PDA 1. As shown in FIG. 2, the upper left portion of the hinge portion 12 in the drawing is a slot 64 in which a predetermined memory card or a function expansion module that can be inserted and removed is inserted, and lights when data in the memory stick is read / written. And an infrared port 62 for communicating with other devices by infrared rays.
[0031]
For example, a memory card stores a flash memory element, which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory), which is a nonvolatile memory that can be electrically rewritten and erased, in a small and thin plastic case. Yes, it is possible to write and read various information (data) such as images, sounds and music.
[0032]
In addition, the memory card uses a unique serial protocol that ensures compatibility with the devices used even when the specifications of the built-in flash memory change due to an increase in capacity, etc., and a maximum writing speed of 1.5 [MB / S In addition to realizing high-speed performance of a maximum reading speed of 2.45 [MB / S], a high reliability may be ensured by providing an erroneous erasure prevention switch.
[0033]
Accordingly, since the PDA 1 can insert such a memory card, data can be shared with other devices via the memory card.
[0034]
A reset button 65 for resetting the PDA 1 is provided on the left side of the central portion of the surface 13-3 on the opposite side of the surface 13-1 of the main body 13 and a sound is output below the reset button 65. A speaker 66 is provided.
[0035]
As described above, the connector 67 is provided in the central portion of the surface (lower end surface in the drawing) 13-4 perpendicular to the surfaces 13-1 and 13-3 of the main body portion 13 in the drawing. On the left side, a storage port 68 for storing the touch pen 35 is provided.
[0036]
FIG. 3 is a block diagram showing an internal configuration example of the PDA 1.
[0037]
A CPU (Central Processing Unit) 131 executes various processes according to a program stored in a ROM (Read Only Memory) 132 or a program loaded from a storage unit 139 to a RAM (Random Access Memory) 133.
[0038]
The RAM 133 also appropriately stores data necessary for the CPU 131 to execute various processes.
[0039]
The CPU 131, ROM 132, and RAM 133 are connected to each other via a bus 134. The bus 134 is also connected with a display control unit 136 that controls an image to be displayed on the LCD 28.
[0040]
In addition to the camera 22 and the LCD 28 described above, a VRAM 138 is connected to the display control unit 136 based on the control of the CPU 131. The display control unit 136 stores the image captured by the camera 22 in the VRAM 138, the image stored in the VRAM 138, and other memory (RAM 133, storage unit 139, memory card 143 connected to the slot 64). The image stored in is displayed on the LCD 28.
[0041]
An input / output interface 135 is also connected to the bus 134.
[0042]
The input / output interface 135 is mounted with the keyboard 34, the various buttons 22, 32, 33, the input unit 137 including the jog dial 25, the touch panel 36, the infrared communication port 62, the memory card 143, or the function expansion module 121. Slot 64, a battery (not shown) built in PDA 1, a connector 67 to which cradle 91 or the like serving as a relay device for communication with other external device 152 is connected, and remote controller 101 or headphones 153. Is connected to a headphone jack 24 as an audio output unit.
[0043]
The coordinates detected by the touch panel 36 are provided to the CPU 131 via the input / output interface 135 and the bus 134, and the CPU 131 acquires predetermined information corresponding to the provided coordinates.
[0044]
The input / output interface 135 is also connected to a storage unit 139 including a hard disk as necessary. A computer program read from a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like that is appropriately attached to the external device 152 is wirelessly transmitted via the infrared port 62 or wirelessly via a wireless LAN module (function expansion module) 121. The data is supplied to the PDA 1 as necessary by means of communication or wired communication via the cradle 91 and installed in the storage unit 139. Alternatively, a computer program read from the memory card 143 that is appropriately inserted in the slot 64 is also installed in the storage unit 139 as necessary.
[0045]
Furthermore, the input / output interface 135 is an LCD that is turned on when the display unit 11 is closed with respect to the main body unit 13 and is turned off when the display unit 11 is open with respect to the main body unit 13. The open / close switch 144, the LCD rotation switch 145 that is turned on when the display unit 11 is rotated by a predetermined rotation angle or more, and the ON state when the camera 22 is rotated by a predetermined rotation angle or more. A camera rotation switch 146 is provided.
[0046]
In other words, in this example, the CPU 131 opens / closes the main body 13 of the display unit 11 based on the on / off state of the LCD open / close switch 144, the LCD rotation switch 145, and the camera rotation switch 146. (Hereinafter referred to as the LCD open / closed state), the rotating state, and the rotating state of the camera 22 are recognized.
[0047]
The camera 22 is configured as shown in FIG. As shown in FIG. 4, the camera 22 is provided with a CCD (Charge Coupled Device) 172 as an imaging device that scans in a predetermined direction and captures an image of a subject via a lens 171. (Programmable Logic Device) 173 controls the incident light into an electrical signal.
[0048]
In addition, the PLD 173 includes a DSP (Digital Signal Processor) 174 that processes the captured image data, a built-in RAM 176 that includes a semiconductor memory such as an SDRAM (Synchronous Dynamic Random Access Memory), an imaging operation by the CCD 172, and a scanning direction. A camera controller 176 and the like for controlling appropriately are incorporated.
[0049]
Based on the control of the CPU 131, the PLD 173 performs various processes using programs and initial value data for executing various processes acquired from an EEPROM (Electrically Erasable and Programmable Read only Memory) 175.
[0050]
Based on the control of the CPU 131, the DSP 174 generates display image data having an image size that matches the display area size of the LCD 28 from the image data captured by the CCD 172, and supplies the display image data to the display control unit 136 of FIG. The captured image data is sequentially stored in the built-in RAM 176. The image data stored in the built-in RAM 176 is used for displaying a still image at the time of capture, or used for generating JPEG data for storage.
[0051]
That is, the DSP 174 is controlled by the CPU 131, and in the monitor mode before the imaging process, generates optimal display image data from the image data fetched from the CCD 172 and sequentially supplies it to the display control unit 136 in FIG. Thus, a display image as a moving image (hereinafter referred to as a display moving image) is displayed in a predetermined display area of the LCD 28.
[0052]
When imaging processing is instructed by the user pressing the button 23 or the like, the process shifts to the capture mode, and the DSP 174 is controlled by the CPU 131 to stop outputting the display image data to the display unit 136, and the CCD 172. 3 is captured as still image data, subjected to predetermined processing, JPEG data for storage is generated from the image data, and optimal display image data is generated, and the display control unit 136 of FIG. To supply. As a result, a display image as a still image that is a captured image (hereinafter referred to as a display still image) is displayed in a predetermined display area of the LCD 28.
[0053]
After that, as will be described later, when the user taps the touch panel on the display area or presses the button 23 halfway, the capture mode returns to the monitor mode, and the DSP 174 is controlled by the CPU 131 to control the predetermined display area of the LCD 28. The display moving image is displayed.
[0054]
In the capture mode, the display image data supplied to the display control unit 136 is supplied to the VRAM 138, and the corresponding display still image is displayed on the LCD 28 and also supplied to the RAM 133 via the bus 134. Retained.
[0055]
The RAM 133 holds a predetermined number (for example, the latest three) of display image data, manages the image data in association with the corresponding storage JPEG data, and is controlled by the CPU 131 to control the designated image. The data is supplied to the display control unit 136 via the bus 134. The display control unit 136 supplies the display image data supplied from the RAM 133 to the VRAM 138 and displays the corresponding display still image in a predetermined display area of the LCD 28.
[0056]
As described above, display image data having an image size that matches the size of the display area is generated from the image data captured in the capture mode separately from the compressed image data and thumbnail image data for storage, and stored in the RAM 133. Therefore, the PDA 1 can easily display the image designated by the user in the display area with high image quality.
[0057]
FIG. 5 is a schematic diagram illustrating an example of a system configuration of hardware and software related to imaging processing.
[0058]
In FIG. 5, the upper block in the figure operates so as to control the lower block in the figure.
[0059]
The camera application 181 has various functions such as a camera setting module 182, a finder module 183, a capture module 184, and a file management module.
[0060]
As shown in FIG. 6, the camera application 181 includes a user interface 201 and an interface module 202, and can receive an instruction from the user or display an operation guide or the like to the user.
[0061]
With these functions, the camera application 181 controls the camera driver 193 using the multimedia library 191 or the AV (Audio Visual) library 192 based on a user instruction or the like, and performs an imaging process or an image is captured. The displayed image is displayed on the LCD 28 via the device manager 197.
[0062]
The camera driver 193 uses the USB driver 194, the YUV driver 195, and the like to control each part of the camera 22 and perform imaging processing to acquire image data, or store the acquired image data in the RAM 133 or the memory card 143. Or the management of the file system 196.
[0063]
For example, display image data generated from image data captured by the CCD 171 is transferred via the YUV bus, which is a monitor image parallel bus, under the control of the YUV driver 195, and is controlled by the AV library 192. Corresponding images are displayed on the LCD 28 by the processing of 193 and the device manager 197. In addition, display image data corresponding to a captured image captured in the capture mode is supplied to the RAM 133 by the camera driver 193 and managed by the file system 196.
[0064]
In the case of JPEG data generated from image data captured in the capture mode in the CCD 171, the captured image data is once stored in the built-in RAM 175 and then converted to JPEG data. The JPEG data is controlled by the USB driver 194 and transferred via the USB bus, and is stored in the memory card 143 or the RAM 133 under the control of the camera driver 193. The JEPG data stored in the memory card 143 and the RAM 133 is managed by the file system 196.
[0065]
Next, processing related to display of an image captured by the camera 22 by the PDA 1 as described above will be described with reference to a flowchart of FIG. Moreover, it demonstrates with reference to FIG. 8 as needed.
[0066]
When the user activates the camera application 181, each unit is controlled by the camera application 181, and a transition is made to a monitor mode for capturing a still image using the camera 22. In the monitor mode, an image captured from the CCD 172 is displayed as a moving image in a display area of the LCD 28 (an EVF (Electronic View Finder) area 211 in FIG. 8 described later).
[0067]
In step S 1, the CPU 131 controls the PLD 173 to generate display image data in which the image size is adjusted from the new captured image data captured by the CCD 172. At this time, the PLD 173 adjusts the image size of the display image to match the size of the image display area (EVF area 211 in FIG. 8 described later) provided in the GUI (Graphical User Interface) displayed on the LCD 28. To do.
[0068]
Usually, the size of the image display area is smaller than the image size of the captured image. Therefore, the PLD 173 generates display image data by thinning the data from the captured image data by a predetermined method. For example, when the image size of the captured image corresponding to the captured image data (saved JPEG data) is 1600 dots × 1200 dots, and the image size of the thumbnail image to be displayed is 80 dots × 60 dots, the PLD 173 Generates image data for display that matches the size of the display area of 320 dots × 240 dots from the captured image data. At this time, if necessary, image processing for improving the image quality may be performed on the display image data.
[0069]
Then, the PLD 173 that has generated the display image data supplies the display image data to the display control unit 136.
[0070]
In step S 2, the CPU 131 controls the display control unit 136 to hold the display image data acquired by the display control unit 136 in the VRAM 138 and display the display moving image corresponding to the display image data on the LCD 28.
[0071]
FIG. 8 is a diagram illustrating an example of a GUI displayed on the LCD 28.
[0072]
In FIG. 8, the GUI includes an EVF area 211 that displays a display image that is a captured image, a camera control area 212 that displays buttons related to the imaging operation, a simple view area 213 that displays thumbnail images of the captured image, and the like. A link area 214 for displaying buttons related to link operations with the application, and a status bar area 215 for displaying status information of functions other than the camera application 181 are configured.
[0073]
The EVF area 211 is a display area for displaying a display image. The EVF area 211 has a size larger than the image size of the thumbnail image of JPEG data created by the PLD 173, and an image (or original image) corresponding to the compressed image data of JPEG data. Image) is smaller than the image size.
[0074]
In the EVF area 211, an AF illuminator 221 indicating the state of the AF (Auto Focus) function and an AF frame 222 indicating the range in which the AF function adjusts the focus are displayed.
[0075]
In the camera control area 212, a display-only icon group 223 for notifying various status information relating to imaging and the like, and a brightness adjustment bar 224 for adjusting the brightness of the display image displayed in the EVF area 211 when operated by the user. An imaging function button group 225 for performing various settings relating to imaging is displayed by the user's operation.
[0076]
In the simple viewer area 213, thumbnail image display units 226 to 228 for displaying thumbnail images corresponding to the latest three captured images are provided. The thumbnail image display sections 226 to 228 display thumbnail images one by one. The thumbnail images are arranged in order from left to right, and the image displayed on the thumbnail image display unit 226 is the thumbnail image of the newest captured image.
[0077]
The RAM 133 in FIG. 3 holds JPEG data and display image data corresponding to the thumbnail image displayed on the thumbnail image display unit 226. For example, the user selects the selection provided in the thumbnail image display units 226 to 228. When one of the buttons 226A to 228A is operated, the RAM 133 supplies display image data corresponding to the image to the display control unit 136, and the corresponding display still image is displayed in the EVF area.
[0078]
Further, when a new image is taken, a thumbnail image corresponding to the taken image is displayed on the thumbnail image display unit 226. Then, the currently displayed images are shifted to the right in the drawing one by one, and the image displayed on the rightmost thumbnail image display unit 226 is deleted.
[0079]
At this time, the RAM 133 erases the display image data corresponding to the erased image, and holds the JPEG data and the display image data corresponding to the newly captured image.
[0080]
The simple view area 213 also displays a display operation icon group 229 that protects, changes the order of, or deletes the displayed thumbnail images when operated by the user.
[0081]
In the cooperation area 214, an album category selection field 230 that allows the user to specify a category for storing JPEG data corresponding to the captured image is displayed. JPEG data is stored in the RAM 113, the storage unit 139, the memory card 143, or the like, and is managed for each category by the file system 196 in FIG.
[0082]
The cooperation area 214 also displays a cooperation button group 231 that activates another application when operated by the user.
[0083]
In the status bar area 215, a status information group 232 indicating status information other than the camera application, such as the remaining battery level and the state of the memory card 143, is displayed. A time display unit 233 for displaying the time is also provided.
[0084]
In the above, it has been described that the latest three thumbnail images are displayed in the simple view area 213. However, the present invention is not limited to this, and any number of thumbnail images may be displayed. The thumbnail images do not need to be displayed at the same time. For example, a scroll bar or the like may be provided so that the displayed images can be switched.
[0085]
The RAM 133 preferably holds all display image data corresponding to the thumbnail images to be displayed, but may hold only specific display image data. In that case, when a thumbnail image for which the corresponding display image data is not held in the RAM 133 is selected, nothing may be displayed in the EVF area 211, or the display image data is generated again from the JPEG data. The corresponding still image for display may be displayed.
[0086]
Furthermore, the GUI shown in FIG. 8 only needs to include at least one of the EVF area 211 for displaying the display image and the thumbnail image display units 226 to 228 for displaying the thumbnail image. It can be omitted. Of course, functions other than those described above may be displayed.
[0087]
Returning to FIG. 7, in step S 3, the CPU 131 monitors the user input supplied from the input unit 137 or the touch panel 36, and determines whether the imaging process has been started.
[0088]
When the user presses the button 23 or the like and the imaging process is started and it is determined that the capture mode has been entered, the CPU 131 advances the process to step S4.
[0089]
After shifting to the capture mode, the CPU 131 controls the CCD 172 to capture image data as still image data in step S4, and controls the PLD 173 to generate display image data from the captured image data. The displayed image data is stored in the built-in RAM 176.
[0090]
In step S 5, the CPU 131 controls the PLD 173 to supply a black image to the display control unit 136 and erase the display image displayed in the EVF area 211 of the LCD 28.
[0091]
In step S6, the CPU 131 controls the PLD 173 to determine whether or not the image processing for the captured image by the DSP 174 has been completed, and waits until it is determined that the processing has been completed.
[0092]
If the CPU 131 determines that the image processing has been completed, the CPU 131 proceeds to step S7, controls the PLD 173, and supplies the display image data stored in the internal RAM 176 to the display control unit 136 in step S4. The display still image is displayed in the EVF area 211 of the LCD 28, and the display image data is supplied to the RAM 133, and the display image data is held in the RAM 133.
[0093]
In step S 8, the CPU 131 determines whether switching of a display still image to be displayed is instructed based on a user input supplied from the input unit 137 or the touch panel 36.
[0094]
The user instructed to switch the display still image to be displayed by tapping the touch panel 36 on the selection button of the thumbnail image display portion where the display still image corresponding to the current EVF area 211 in FIG. 8 is not displayed. In step S9, the CPU 131 acquires display image data corresponding to the specified thumbnail image from the RAM 133, supplies the display image data to the display control unit 136, and displays the corresponding display still image in the EVF area 211. Let Then, the CPU 131 advances the process to step S10.
[0095]
If it is determined in step S8 that switching of the display still image to be displayed is not instructed, the CPU 131 skips step S9 and proceeds to step S10.
[0096]
In step S 10, the CPU 131 determines whether to display a display moving image in the EVF area 211 based on a user input supplied from the input unit 137 or the touch panel 36.
[0097]
When the user has not instructed display of the display moving image and determines that the display moving image is not displayed, the CPU 131 proceeds to step S11 to determine whether or not to end the image display processing. If it is determined not to end the image display process, the CPU 131 returns the process to step S8 and repeats the subsequent processes.
[0098]
That is, the CPU 131 displays the display still image corresponding to the designated thumbnail image until the display moving image is displayed in the EVF area 211 or the image display process is ended based on the user instruction or the like. It is displayed in the area 211.
[0099]
On the other hand, if it is determined in step S3 that the user has not pressed the button 23 and the imaging process is not started, the CPU 131 advances the process to step S12.
[0100]
In step S 12, the CPU 131 determines whether to display a display still image based on a user input or the like. For example, when the user instructs to display the still image for display by tapping the touch panel 36 on the selection button of the thumbnail image display unit, and the CPU 131 determines to display the still image for display, the CPU 131 proceeds to step S9. Return to, and repeat the subsequent processing.
[0101]
If it is determined in step S12 that the display still image is not displayed, the CPU 131 advances the process to step S13. If it is determined in step S10 that the user has instructed the display of the moving image for display by tapping the touch panel 36 on the EVF area 211 or half-pressing the button 23, the CPU 131 performs the process in step S13. Proceed to
[0102]
In step S13, the CPU 131 determines whether or not to end the image display process. If it is determined not to end the image display process, the CPU 131 returns the process to step S1 and repeats the subsequent processes.
[0103]
If it is determined in step S13 that the image display process is to be terminated, the CPU 131 advances the process to step S14. If it is determined in step S11 that the image display process is to be terminated based on a user instruction or the like, the CPU 131 advances the process to step S14.
[0104]
In step S14, the CPU 131 performs an end process, and ends the image display process.
[0105]
As described above, the image display process is executed. As a result, a high-quality display image can be easily displayed in the EVF area 211.
[0106]
Next, a specific processing flow at the time of imaging will be described with reference to the timing chart of FIG. Moreover, it demonstrates with reference to FIG. 10 as needed.
[0107]
In the monitor mode at time T0, the PLD 173 executes a moving image display process 321 as an image process, and outputs the latest display image data (EVF 341). In the EVF area 211 of the LCD 28, a display moving image (EVF 301) corresponding to the display image data is displayed. These processes correspond to the processes of steps S1 and S2 in FIG.
[0108]
At this time, when the user half-presses the button 23 in step S31, the CPU 131 detects the input in step S41, and supplies a half-press command corresponding to the input to the PLD 173 in step S42.
[0109]
When the PLD 173 acquires the half-press command supplied from the CPU 131 in step S81, the PLD 173 controls the camera controller 177 in step S82 to perform processing such as AE (Auto Exposure), AWB (Auto White Balance), and AF. I do. At this time, the PLD 173 controls the display control unit 136 to blink the AF illuminator 221 in FIG. 8 from the time T1 when the processing is started.
[0110]
When these processes are completed (time T2), in step S83, an AF end status signal is supplied to the CPU 131, and the display control unit 136 is controlled to turn on the AF illuminator 221 in FIG.
[0111]
In step S43, the CPU 131 that has acquired the AF end status signal reproduces a predetermined sound effect to indicate to the user that the processing has ended in step S44, and outputs it from the speaker 66 in FIG.
[0112]
A user who hears this sound effect or visually recognizes that the AF illuminator 221 displayed in the EVF area 211 of the LCD 28 is turned on, recognizes that the processing such as AF has ended, and determines the imaging position, In step S32, an instruction to capture a still image is given by pressing the button 32 fully.
[0113]
When the CPU 131 detects the user input in step S45 (step S3 in FIG. 7), the CPU 131 supplies a full-press command to the PLD 173 in step S46. When the PLD 173 acquires this full-press command in step S84, the AF illuminator 221 is turned off at time T3, and shifts to the capture mode at time T4.
[0114]
At time T4 when the mode is shifted to the capture mode, the PLD 173 executes the process of step S85 and supplies an exposure start status signal to the CPU 131. Further, from time T4, the PLD 173 controls the camera controller 177 to start the exposure processing 322, and further stops outputting the display image data, so that the entire EVF area 211 becomes a black image. The image data and the synchronization signal 342 are output to the display control unit 136. As a result, the black image 302 is displayed in the EVF area 211 of the LCD 28. At this time, the PLD 173 stores the display image data generated last in the built-in RAM 176. This processing corresponds to the processing in steps S4 and S5 in FIG.
[0115]
When the CPU 131 obtains the exposure start status output from the PLD 173 in step S47, the CPU 131 reproduces a predetermined sound effect and outputs it from the speaker 66 in FIG.
[0116]
When the exposure process 322 is completed at time T5, the PLD 173 supplies an exposure end status signal to the CPU 131 and starts an image data capturing process 323 from the CCD 172 in step S86.
[0117]
When the CPU 131 obtains the exposure end status signal in step S49, it reproduces a predetermined sound effect and outputs it from the speaker 66 or the like in step S50.
[0118]
When the capturing process is completed at time T6, the PLD 173 starts image processing 324 for the captured image data.
[0119]
When the image processing ends at time T7, the PLD 173 supplies the display still image displayable status signal to the CPU 131. Then, the still image display processing 325 is started, the display still image data 343 stored in the internal RAM 176 is output to the display control unit 136, and the JPEG encoding 326 of the image processed image data is started.
[0120]
As shown in FIG. 10, JPEG encoding is executed using the internal RAM 176, and the created JPEG data is also temporarily stored in the internal RAM 176.
[0121]
When the display still image displayable status is acquired in step S51, the CPU 131 controls the display control unit 136 to start acquisition of display still image data in step S52. Upon acquiring the display still image data from the PLD 173, the display control unit 136 displays the corresponding display still image in the EVF area 211 of the LCD 28. These processes correspond to the processes in steps S6 and S7 in FIG.
[0122]
When the JPEG encoding 326 ends at time T8, the PLD 173 supplies the JPEG output status signal to the CPU 131 in step S88. When acquiring this JPEG output status signal in step S53, the CPU 131 starts acquiring the generated JPEG data in step S54. This process is continued until the transfer of JPEG data is completed.
[0123]
As shown in FIG. 10, the JPEG data is supplied from the built-in RAM 176 to the display control unit 136 via the USB main bus 372. At that time, the PLD 173 and the display control unit 136 control each other by the USB control bus 371 and transfer JPEG data. Then, the display control unit 136 displays a thumbnail image corresponding to the thumbnail image data of the acquired JPEG data on the thumbnail image display unit 226 of the LCD 28, and the JPEG data is displayed on the RAM 133 or the like via the bus 134, for example. As shown in FIG. 10, the data is supplied to the memory card 143 and recorded.
[0124]
In step S33, when the user operates the touch panel 36 on the EVF area 211 of the LCD 28 or performs a half-press or full-press operation on the button 23 to instruct the shift to the monitor mode, the CPU 131 Acquires the input in step S55, and supplies a command corresponding to the input to the PLD 173 in step S56.
[0125]
At time T9, when the PLD 173 obtains the command by the process of step S89, the capture mode is shifted to the monitor mode, and the moving image display process 327 is started. That is, during the period 343A from time T7 to time T9, a display still image that is a captured image is displayed in the EVF area 211 of the LCD 28.
[0126]
In the moving image display process 327, display image data is sequentially generated from the image data captured by the CCD 172 and output to the display control unit 136 as EVF 344, as in the moving image display process 321. As a result, the EVF 304 that is a moving image for display is displayed in the EVF area 211 of the LCD 28.
[0127]
As described above, the non-compressed display image data is prepared and held separately from the JPEG image, so that an optimal display image can be easily displayed in the display area.
[0128]
As described above, the display image data corresponding to the captured image is held in the RAM 133, and is held in the RAM 133 when the user operates the touch panel 36 on the thumbnail image displayed on the LCD 28. The display image corresponding to the display image data being displayed can be immediately displayed in the EVF area 211 of the LCD 28, and the optimum display image can be easily displayed in the display area as in the case of the imaging process. Can do.
[0129]
In the above description, the PDA with an imaging function has been described. However, the present invention is not limited to this, and an electronic device that generates compressed image data from uncompressed image data and displays an image corresponding to the image data on a display or the like. Anything is fine. In particular, it is more effective to use a small electronic device with a small processing capability, such as an electronic device having a large influence on the load required for image compression / decompression, such as a digital camera, a mobile phone with an imaging function, or a PDA with an imaging function. Is remarkable.
[0130]
In the above description, the camera 22, the LCD 28, and the like have been described as being configured as a single PDA. However, the present invention is not limited thereto, and each part of the PDA 1 described above may be configured separately.
[0131]
Further, in the above description, image data is compressed and JPEG data is generated. However, the present invention is not limited to this, and any compression method and data format may be used.
[0132]
In the above-described example, the memory mounted in the slot 64 is the memory card 143. However, the memory card 143 is not limited as long as the recording medium can accommodate the slot 64. For example, although not shown, other semiconductor memories, magnetic disks, optical disks, magneto-optical disks, etc. may be used.
[0133]
The above processing can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the PDA 1 from a network or a recording medium. However, the recording medium is not only directly attached to the PDA 1, but may be attached to another device as necessary. In this case, the program is installed in the PDA 1 when the other device and the PDA 1 communicate with each other.
[0134]
As shown in FIG. 3, this recording medium is distributed not only for the main body of the apparatus but also for the semiconductor memory such as the memory stick 143 in which the program is stored, which is distributed in order to supply the program to the user. Includes, for example, a magnetic disk (including a floppy disk), an optical disk (including a CD-ROM (compact disk-read only memory), a DVD (digital versatile disk)), or a magneto-optical disk (MD (mini-disk)). ) Or the like. Furthermore, it is configured by a ROM 132 storing a program, a storage unit 139 as a hard disk, and the like supplied to the user in a state of being incorporated in the apparatus main body in advance.
[0135]
In the above, the processing shown in each flowchart is executed by the CPU 131 of FIG. 3 by software, but it is executed by hardware by preparing hardware for executing each processing. Of course, it is possible.
[0136]
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
[0137]
【The invention's effect】
As described above, according to the present invention, an image can be displayed in a predetermined display area. In particular, the designated image can be easily displayed in a predetermined display area with higher image quality.
[Brief description of the drawings]
FIG. 1 is an external view illustrating an example of a front configuration of a PDA to which the present invention is applied.
2 is an external view illustrating a configuration example of a back surface of the PDA in FIG. 1. FIG.
FIG. 3 is a block diagram showing an example of the internal configuration of the PDA 1 in FIG. 1;
4 is a block diagram illustrating a detailed configuration example of the camera of FIG. 1. FIG.
FIG. 5 is a schematic diagram illustrating a system configuration example of hardware and software related to imaging processing;
6 is a schematic diagram illustrating a detailed configuration example of the camera application in FIG. 5. FIG.
7 is a flowchart for explaining image display processing by the PDA of FIG. 1; FIG.
FIG. 8 is a diagram showing an example of a GUI displayed on the LCD of FIG. 1;
FIG. 9 is a timing chart illustrating a specific processing flow during imaging.
FIG. 10 is a schematic diagram showing how image data is transferred.
[Explanation of symbols]
22 cameras, 28 LCD, 131 CPU, 133 RAM, 136 display control unit, 139 storage unit, 143 memory card, 172 CCD, 173 PLD, 174 DSP, 176 built-in RAM, 177 camera controller, 181 camera application, 211 EVF area, 226 to 228 thumbnail image display unit, 325 still image display processing, 343 still image data for display

Claims

画像データを圧縮する画像処理装置において、
非圧縮の画像データである元画像データを圧縮し、圧縮画像データを生成するとともに、前記元画像データのサムネイル画像に対応するサムネイル画像データを生成する第１の生成手段と、
前記第１の生成手段により生成された前記圧縮画像データおよび前記サムネイル画像データを記憶する記憶手段と、
前記元画像データより、前記元画像データに対応する画像が表示される第１の表示領域の大きさと同じである、前記元画像データの表示用画像に対応する表示用画像データを生成する第２の生成手段と、
前記生成手段により生成された前記表示用画像データを、同じ前記元画像データに対応する前記サムネイル画像データに関連付けて保持する保持手段と、
複数の前記サムネイル画像を前記第１の表示領域とは異なる第２の表示領域に表示する第１の表示制御手段と、
前記第１の表示制御手段により前記第２の表示領域に表示された複数の前記サムネイル画像の中から１枚の前記サムネイル画像を選択する選択手段と、
前記保持手段により保持されており、前記選択手段により選択された前記サムネイル画像に関連付けられた前記表示用画像データに対応する画像を、前記元画像データの表示用画像として前記第１の表示領域に表示する第２の表示制御手段と
を備えることを特徴とする画像処理装置。In an image processing apparatus that compresses image data,
First generation means for compressing original image data which is uncompressed image data to generate compressed image data, and generating thumbnail image data corresponding to a thumbnail image of the original image data;
Storage means for storing the compressed image data and the thumbnail image data generated by the first generation means;
Second, generating display image data corresponding to the display image of the original image data, which is the same as the size of the first display area where the image corresponding to the original image data is displayed, from the original image data. Means for generating
Holding means for holding the display image data generated by the generating means in association with the thumbnail image data corresponding to the same original image data;
First display control means for displaying a plurality of thumbnail images in a second display area different from the first display area;
Selecting means for selecting one thumbnail image from the plurality of thumbnail images displayed in the second display area by the first display control means;
An image corresponding to the display image data that is held by the holding unit and associated with the thumbnail image selected by the selection unit is displayed in the first display area as a display image of the original image data. An image processing apparatus comprising: a second display control means for displaying.

前記第１の表示領域の大きさは、前記サムネイル画像の画像サイズより大きいサイズである
ことを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein a size of the first display area is larger than an image size of the thumbnail image.

ユーザからの指示を受け付ける受け付け手段をさらに備え、
前記選択手段は、前記受け付け手段により受け付けられた前記ユーザからの指示に基づいて、前記サムネイル画像を選択する
ことを特徴とする請求項１に記載の画像処理装置。It further comprises receiving means for receiving an instruction from the user,
The image processing apparatus according to claim 1, wherein the selection unit selects the thumbnail image based on an instruction from the user received by the reception unit.

被写体を撮像し、前記撮像により得られる撮像画像に対応する撮像画像データを生成する撮像手段をさらに備え、
前記第１の生成手段は、前記撮像手段により撮像されて生成された前記撮像画像データを圧縮し、圧縮画像データを生成するとともに、前記元画像データのサムネイル画像に対応するサムネイル画像データを生成し、
前記第２の生成手段は、前記撮像画像データより、前記撮像画像データの表示用画像に対応する表示用画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。An imaging unit that images a subject and generates captured image data corresponding to a captured image obtained by the imaging;
The first generation unit compresses the captured image data generated by being captured by the imaging unit, generates compressed image data, and generates thumbnail image data corresponding to the thumbnail image of the original image data. ,
The image processing apparatus according to claim 1, wherein the second generation unit generates display image data corresponding to a display image of the captured image data from the captured image data.

前記撮像手段により撮像されて得られた前記撮像画像を、動画像として、前記第１の表示領域に表示する第３の表示制御手段をさらに備える
ことを特徴とする請求項４に記載の画像処理装置。5. The image processing according to claim 4, further comprising third display control means for displaying the captured image obtained by being captured by the imaging means as a moving image in the first display area. apparatus.

画像データを圧縮する画像処理装置の画像処理方法であって、
非圧縮の画像データである元画像データを圧縮し、圧縮画像データを生成するとともに、前記元画像データのサムネイル画像に対応するサムネイル画像データを生成する第１の生成ステップと、
前記第１の生成ステップの処理により生成された前記圧縮画像データおよび前記サムネイル画像データの記憶を制御する記憶制御ステップと、
前記元画像データより、前記元画像データに対応する画像が表示される第１の表示領域の大きさと同じである、前記元画像データの表示用画像に対応する表示用画像データを生成する第２の生成ステップと、
前記生成ステップの処理により生成された前記表示用画像データの、同じ前記元画像データに対応する前記サムネイル画像データに関連付けた保持を制御する保持制御ステップと、
複数の前記サムネイル画像の、前記第１の表示領域とは異なる第２の表示領域への表示を制御する第１の表示制御ステップと、
前記第１の表示制御ステップの処理により、前記第２の表示領域への表示が制御された複数の前記サムネイル画像の中から１枚の前記サムネイル画像を選択する選択ステップと、
前記保持制御ステップの処理により保持が制御されており、前記選択ステップの処理により選択された前記サムネイル画像に関連付けられた前記表示用画像データに対応する画像の、前記元画像データの表示用画像としての、前記第１の表示領域への表示を制御する第２の表示制御ステップと
を含むことを特徴とする画像処理方法。An image processing method of an image processing apparatus for compressing image data,
A first generation step of compressing original image data which is uncompressed image data to generate compressed image data, and generating thumbnail image data corresponding to a thumbnail image of the original image data;
A storage control step for controlling storage of the compressed image data and the thumbnail image data generated by the processing of the first generation step;
Second, generating display image data corresponding to the display image of the original image data, which is the same as the size of the first display area where the image corresponding to the original image data is displayed, from the original image data. Generation steps,
A holding control step for controlling holding of the display image data generated by the processing of the generating step in association with the thumbnail image data corresponding to the same original image data;
A first display control step for controlling display of a plurality of thumbnail images in a second display area different from the first display area;
A selection step of selecting one thumbnail image from among the plurality of thumbnail images whose display in the second display area is controlled by the processing of the first display control step;
As the display image of the original image data, the holding is controlled by the processing of the holding control step, and the image corresponding to the display image data associated with the thumbnail image selected by the processing of the selection step And a second display control step for controlling display on the first display area.

画像データを圧縮する処理をコンピュータに行わせるプログラムにおいて、
非圧縮の画像データである元画像データを圧縮し、圧縮画像データを生成するとともに、前記元画像データのサムネイル画像に対応するサムネイル画像データを生成する第１の生成ステップと、
前記元画像データより、前記元画像データに対応する画像が表示される表示領域の大きさと同じである、前記元画像データの表示用画像に対応する表示用画像データを生成する第２の生成ステップと、
複数の前記サムネイル画像データの中から１つの前記サムネイル画像データを選択する選択ステップと、
前記選択ステップの処理により選択された前記サムネイル画像データに関連付けられた前記表示用画像データに対応する画像の、前記元画像データの表示用画像としての、前記表示領域への表示を制御する表示制御ステップと
を含むことを特徴とするプログラム。In a program that causes a computer to perform a process of compressing image data,
A first generation step of compressing original image data which is uncompressed image data to generate compressed image data, and generating thumbnail image data corresponding to a thumbnail image of the original image data;
A second generation step of generating, from the original image data, display image data corresponding to the display image of the original image data, which has the same size as a display area in which an image corresponding to the original image data is displayed. When,
A selection step of selecting one of the thumbnail image data from the plurality of thumbnail image data;
Display control for controlling display of the image corresponding to the display image data associated with the thumbnail image data selected in the selection step as the display image of the original image data in the display area A program comprising steps.