JP4208726B2 - 画像表示装置、画像表示方法および画像表示プログラム - Google Patents

画像表示装置、画像表示方法および画像表示プログラム Download PDF

Info

Publication number
JP4208726B2
JP4208726B2 JP2004006905A JP2004006905A JP4208726B2 JP 4208726 B2 JP4208726 B2 JP 4208726B2 JP 2004006905 A JP2004006905 A JP 2004006905A JP 2004006905 A JP2004006905 A JP 2004006905A JP 4208726 B2 JP4208726 B2 JP 4208726B2
Authority
JP
Japan
Prior art keywords
image
area
date
image data
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004006905A
Other languages
English (en)
Other versions
JP2005202588A (ja
Inventor
高司 山本
智之 大野
智康 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004006905A priority Critical patent/JP4208726B2/ja
Priority to CN2005100043440A priority patent/CN1641742B/zh
Priority to US11/036,401 priority patent/US7239347B2/en
Priority to KR1020050003557A priority patent/KR100596910B1/ko
Publication of JP2005202588A publication Critical patent/JP2005202588A/ja
Priority to US11/734,621 priority patent/US7522195B2/en
Application granted granted Critical
Publication of JP4208726B2 publication Critical patent/JP4208726B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F3/00Biological treatment of water, waste water, or sewage
    • C02F3/02Aerobic processes
    • C02F3/12Activated sludge processes
    • C02F3/20Activated sludge processes using diffusers
    • C02F3/205Moving, e.g. rotary, diffusers; Stationary diffusers with moving, e.g. rotary, distributors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01FMIXING, e.g. DISSOLVING, EMULSIFYING OR DISPERSING
    • B01F23/00Mixing according to the phases to be mixed, e.g. dispersing or emulsifying
    • B01F23/20Mixing gases with liquids
    • B01F23/23Mixing gases with liquids by introducing gases into liquid media, e.g. for producing aerated liquids
    • B01F23/231Mixing gases with liquids by introducing gases into liquid media, e.g. for producing aerated liquids by bubbling
    • B01F23/23105Arrangement or manipulation of the gas bubbling devices
    • B01F23/2312Diffusers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01FMIXING, e.g. DISSOLVING, EMULSIFYING OR DISPERSING
    • B01F2101/00Mixing characterised by the nature of the mixed materials or by the application field
    • B01F2101/305Treatment of water, waste water or sewage
    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F2103/00Nature of the water, waste water, sewage or sludge to be treated
    • C02F2103/20Nature of the water, waste water, sewage or sludge to be treated from animal husbandry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Hydrology & Water Resources (AREA)
  • Microbiology (AREA)
  • Organic Chemistry (AREA)
  • Water Supply & Treatment (AREA)
  • Environmental & Geological Engineering (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Television Signal Processing For Recording (AREA)

Description

この発明は、画像表示装置、画像表示方法および画像表示プログラムに関し、特に、デジタル画像データを表示し、視聴するための装置において、複数の画像データを視聴者に見やすく表示する技術に適用して好適なものである。
デジタルハイビジョン放送が開始され、ハイビジョン対応のテレビ受信機の普及により、従来よりも高画質で迫力のある映像を家庭で楽しめるようになってきている。一方、電子スチルカメラの普及により、電子化した静止画および動画をパソコンだけでなく、テレビのモニタ画面に表示して楽しむユーザも増えてきている。
そして、ユーザがテレビ受信機により静止画や動画を見る場合には、ユーザは、モニタ画面に表示されたサムネイルの一覧を見て、そのサムネイルを選択することによって、再生データを選択するのが一般的である。
一方、近年記憶容量が飛躍的に増大されたメモリの利用が可能になっており、これに伴い記憶できる画像の数も飛躍的に増大している。例えば、メモリカードは、500枚を超えるデジタル写真の記憶をすることができるようになってきている。そのため、このような大量の画像データの中から、ユーザが所望の画像データを探し出すことは、容易なことではなくなってきている。
このような大量の画像データを効率よく画面に配置し、ユーザ自身の目で容易に選択できるようにする技術としては、例えば、特許文献1および特許文献2に記載された技術を挙げることができる。これらのうちの特許文献1には、サムネイル画像を重ねるようにして、表示させつつ移動させて、所望のデータを容易に見つけることができるようにする技術が開示されている。また、特許文献2には、画像を3次元空間(3D空間)の中にデータを表示させ、仮想的な視点を移動することで所望のデータを見つけられるようにする技術が開示されている。
特開2001−306375号公報 特開平9−259130号公報
しかしながら、上述した従来技術においては、サムネイル画像どうしが重なり合って表示されてしまい、写真を判別するための重要な部分が隠れてしまう場合があった。
具体的には、図18Aに示すように、例えばサムネイル画像として、写真(a)と写真(b)とが存在した場合、写真(a)においては、画像の左部分の、いわゆる「かけっこ」をしている子供達の画像が重要部分であり、他方、写真(b)においては、画像の右側にある人物が重要である。
ところが、これらの写真を他の写真とともに重ねるように表示すると、図18Aに示すように、重要な部分が隠れたまま表示されてしまうことがある。そのため、上述した特許文献1および特許文献2に開示された発明においては、ユーザが表示画像をスクロールしたり、仮想的な視点の位置を動かしたりするなどの操作を行って、その写真の重要な部分を見ることができるようにした後に写真を判別する方法を採用せざるを得なかった。
したがって、この発明の目的は、上述した問題を鑑みて、撮影時に撮影者が意図した内容で一覧できる状態を保ったまま、より多くの画像データを表示させることができ、表示された画像を判別して所望の画像を選択する場合に、目的の画像を容易に探し出すことができ、大量のデジタル画像が画面上に効率よく配置された状態であっても、ユーザが容易に希望の画像を探し出して見つけることができる画像表示装置、画像表示方法および画像表示プログラムを提供することにある。
上記目的を達成するために、この発明は、
複数の画像を表示する場合において、
少なくとも、画像ごとに設定された注目領域情報と日付時刻情報とを記憶し、
注目領域情報を、基準の日付時刻情報と、画像の日付時刻情報とに基づいて評価して、注目領域内の保護領域を設定することにより保護領域情報を生成し、
生成された保護領域情報に基づいて複数の画像の重ね方を制御して一覧表示する
ことを特徴とするものである。
すなわち、この発明の第1の発明は、
数の画像それぞれについて、画像内の一部領域である注目領域を表す注目領域情報と、画像の日付時刻情報を記憶する記憶手段と、
それぞれの画像の注目領域情報を、基準の日付時刻情報と該画像の日付時刻情報とに基づいて評価し、それぞれの画像の注目領域内保護領域定する評価手段と、
設定された保護領域に基づいて、それぞれの画像が保護領域以外の部分で他の画像と重なるように、前記複数の画像の表示位置および上下関係を調整する調整手段とを有し、
調整された表示位置および上下関係に従って、前記複数の画像を画面に一覧表示させるように構成されている
ことを特徴とする画像表示装置である。
この発明の第2の発明は、
複数の画像のそれぞれについて、画像内の一部領域である注目領域を示す注目領域情報と、画像の日付時刻情報とを記憶するステップと、
それぞれの画像の注目領域情報を、基準の日付時刻情報と該画像の日付時刻情報とに基づいて評価するステップと、
評価された結果に基づいて、ぞれぞれの画像の注目領域内保護領域定するステップと、
設定された保護領域に基づいて、それぞれの画像が保護領域以外の部分で他の画像と重なるように、前記複数の画像の表示位置および上下関係を調整し、調整された表示位置および上下関係に従って前記複数の画像を画面に一覧表示させるステップとを有する
ことを特徴とする画像表示方法である。
この発明の第3の発明は、
複数の画像のそれぞれについて、画像内の一部領域である注目領域を示す注目領域情報と、画像の日付時刻情報とを記憶手段に格納するステップと、
それぞれの画像の注目領域情報を、基準の日付時刻情報と該画像の日付時刻情報とに基づいて評価するステップと、
評価された結果に基づいて、ぞれぞれの画像の注目領域内保護領域定するステップと、
設定された保護領域に基づいて、それぞれの画像が保護領域以外の部分で他の画像と重なるように、前記複数の画像の表示位置および上下関係を調整し、調整された表示位置および上下関係に従って前記複数の画像を画面に一覧表示させるステップとを、
コンピュータに実行させるための画像表示プログラムである。
この発明において、典型的には、前記基準の日付時刻情報は、前記複数の画像の日付時刻情報のうち最も新しい日付時刻情報である。また、この発明において、典型的には、前記基準の日付時刻情報は、前記複数の画像日付時刻情報から選択された日付時刻情報である。
この発明において、典型的には、評価手段は、各画像の日付時刻情報を基準の日付時刻情報と比較して、前記基準の日付時刻との差が大きい画像ほど保護領域の面積を小さく設定するように構成されている。
この発明において、典型的には、注目領域情報は、注目の程度に分布を有する情報であり、評価手段は、各画像の日付時刻情報を前記基準の日付時刻情報と比較し、前記基準の日付時刻との差が小さい画像ほど注目度の低い領域まで保護領域を設定するように構成されている。
この発明において、典型的には、調整手段は、前記評価手段による評価結果に基づいて、古い日付時刻情報を有する画像ほど背面側に配置するように、前記複数の画像の上下関係を調整するように構成されている。
この発明において、典型的には、前記注目領域は、画像の撮影時における焦点位置を含む領域である
また、この発明は、上述の組合せに限定されるものではなく、以上の技術的思想を含んだ、あらゆる技術的思想の組み合わせを包含するものである。
以上説明したように、この発明によれば、多くの枚数の画像データを表示するために、画像データの表示範囲の一部を互いに重ねて表示する際、画像データに設定された注目領域情報を画像データの日付時刻情報と基準となる日付時刻情報とに応じて評価して得られる保護領域を、他の画像との重ね方によって表示されるように制御していることにより、撮影時に撮影者が意図した内容で一覧可能な状態を維持したまま、より多くの画像データの表示が可能となり、表示された画像を判別して所望の画像を選択する際、目的の画像を容易に探し出すことが可能となる。
以下、この発明の実施形態について図面を参照しながら説明する。なお、以下の実施形態の全図において、同一または対応する部分には同一の符号を付す。
(デジタルテレビ受信装置)
まず、この発明の第1の実施形態による画像表示装置について説明する。図1に、この第1の実施形態による画像表示装置の一例としてのデジタルテレビ受信装置100の構成を示す。
まず、アンテナ(図示せず)により受信された信号は、図1に示すチューナ部101に入力される。このチューナ部101により、入力された信号に対して、復調や誤り訂正などの処理が実行されて、トランスポートストリームと呼ばれる形式のデジタルデータが生成される。さらに、チューナ部101により、生成されたトランスポートストリーム(TS)データに対してスクランブル解除処理が行われ、デマルチプレクサ部102に供給される。
このデマルチプレクサ部102により、チューナ部101から供給された、複数チャン
ネル分の映像、音声データ並びに電子番組ガイド(EPG)データ、およびデータ放送データなどが時分割多重化されて構成されたTSデータの中から、映像データおよび音声データが取り出され、映像・音声デコーダ103に供給される。映像・音声デコーダ103により処理された映像データは、ビデオメモリ107に書き込まれる。ビデオメモリ107に書き込まれた映像データは、表示合成部108を介して、画像表示手段としての表示器112に供給される。他方、映像・音声デコーダ103により処理された音声データは、音声出力部104から出力される。
カードスロット109は、リムーバブルメモリカードなどと接続するためのインターフェースである。この第1の実施形態においては、デジタルカメラにより撮影された画像データの入力に用いられる。画像データ入力部105は、カードスロット109に接続されたメモリカード(図示せず)からデジタル画像データを入力するための入力回路である。画像処理部106は、画像データ入力部105から入力されたデジタル画像データに対して画像処理を施すためのものである。この画像処理が施されたデジタル画像データは、記憶手段の1つとしてのビデオメモリ107に記憶される。
表示制御部110は、例えばCPU(中央演算処理装置)から構成される演算処理装置である。この表示制御部により、画像データ入力部105に対する画像読込の指示、画像処理部106に対する処理実行の指示、ビデオメモリ107に対する表示データの書き込み、表示合成部108に対する合成処理の指示、記憶手段としての記憶部113に対する情報の記憶指示を実行するための制御回路である。また、調整手段および評価手段として機能する表示制御部110は、ユーザ入力部111を介してリモコン114からの入力データを取得可能に構成されている。また、表示制御部110は、画像データ入力部105を介して、デジタル画像データに付与された撮影データの取得を実行する、関連情報取得部としても機能する。また、この発明による画像表示方法がソフトウエアプログラムとして実現される場合には、このプログラムに従って表示制御部110により種々の処理ステップが実行される。また、表示制御部110は、画像処理部106とともに動作して、画像データから取得された関連情報に基づいて、この画像データの表示位置を制御する、いわゆるレイアウト決定部としても機能する。
(リモコン装置)
次に、ユーザによりデジタルテレビ受信装置に操作信号を供給するリモコン装置について説明する。図2に、この第1の実施形態によるリモコン114を示す。
図2に示すように、発光部201は、リモコン114と、図1に示すユーザ入力部111に備えられた受信部との間において、赤外線通信を実行するための発光素子回路である。電源キー202は、電源をON/OFFするためのキーである。カーソル決定キー203は、上下左右ボタンの中央に決定キーを配したカーソルキーおよび決定キーから構成される。アップダウンキー204,205は、アップ/ダウン(UP/Down)の2つのキーから主に構成される。数字キー206は、1〜9、0の数字キーがマトリクス状に配列されて構成されている。カラーキー207は、例えば青、赤、緑、黄の4色のボタンから構成されている。また、モニターモードキー208は、テレビ受信機に表示される表示モードを切替えるためのキーである。また、ビューアキー209は、画像ビューア機能を呼び出すためのキーである。なお、図2に示すリモコン114は、この第1の実施形態を説明するために必要な機能を実現するための操作を行うボタンのみを示し、実際の受信装置に必要なボタンは、必ずしも図2に示されるもののみに限らない。
この第1の実施形態において例として用いる画像データは、デジタルカメラにより撮影された静止画および動画データである。このうちの静止画データとしては、デジタルカメラによりJPEG圧縮処理が施された後、静止画像データファイルとしてメモリカードに
記録されたものが用いられる。また、動画データとしては、静止画データと同様に、デジタルカメラによりフレーム単位でJPEG圧縮処理された画像群を動画像データファイルとしてメモリカードに記録されたものが用いられる。なお、以後の説明において、「画像データ」とは、静止画像データおよび動画像データの少なくともいずれか一方のデータを示す。
そして、それぞれの画像データには、デジタルカメラによって撮影時の情報が付与されている。この撮影時の情報としては、撮影日時やカメラ機種名以外に、撮影シーンモード、撮影時におけるファインダー内の焦点位置を示す焦点位置情報、ストロボ発光状態情報、被写体との距離を示す情報、ズーム状態情報などがある。この第1の実施形態において使用されるデジタルカメラとしては、撮影時の撮影時におけるファインダー内の焦点位置情報として、「左」「中」「右」のうちのいずれかが記録されるものを用いる。
図3に、この第1の実施形態において使用されたデジタルカメラの液晶画面に表示される画面例を示す。図3Aに、シャッターボタンに手を触れる前の液晶画面の画面状態を示し、図3Bに、シャッターボタンを軽く押した後、いわゆる、シャッターボタンを「半押し」した後、左側の矩形領域に焦点が合った状態を示す。
(デジタルテレビ受信装置の動作)
次に、この第1の実施形態によるデジタルテレビ受信装置100の動作について説明する。なお、この第1の実施形態によるデジタルテレビ受信装置100におけるデジタル画像の一覧表示は、ユーザがカードスロット109にメモリカードを装填したり装着したりした後、リモコン操作によって画像ビューア機能を呼び出す操作により開始される。
図4に、デジタルテレビ受信装置100における画像ビューア機能の一部の動作について表示制御部110の動作を示す。図5に、図4の処理において使用される注目領域の種類を示す。ここで、この注目領域としては、焦点位置や撮影シーンモードに応じて異なるものが設定されている。また、図5Aに示す注目領域は、焦点位置情報に基づいて、撮影者の注目領域を撮影時の合焦ポイントを中心とした領域とする。
この第1の実施形態において、注目領域は、焦点位置情報が定める画像データ上の焦点位置を中心とした半径r1の円領域であり、焦点位置情報の「左」、「中央」、「右」に
応じて3つの領域が定められている。また、図5Bに示す注目領域は、撮影モード情報に基づいて変更可能になっている。すなわち、図5Bに示す人物モードにおける撮影者の注目領域は、画面の中央の半径r2の円領域であり、風景モードにおける撮影者の注目領域
は、画面の中央の短径r2、長径r2×2の楕円領域とするものである。また、図5Cに示す注目領域は、焦点位置情報、撮影モード情報が存在しない場合に適応する注目領域であり、画像データにおけるほぼ中央で半径r3の円領域として定められる。
そして、ユーザにより、図2に示すリモコンの「ビューア」キー209が押下されると、表示制御部110により、図4に示す処理が開始される。
すなわち、まず、ステップS301において、表示制御部110により、画像データ入力部105を介して、カードスロット109に挿入されたメモリカードに存在する画像ファイルの総数が読み出されて記憶される。
次に、ステップS302に移行して、何枚目の画像データであるかを示すカウンタNに1が設定され、初期化される。その後、ステップS303において、N枚目の画像ファイルのExifヘッダ情報の読み出し、この段階では1枚目の画像ファイルのExifヘッダ情報の読み出しが行われる。
そして、ステップS304において、所定の画像のExifヘッダ情報に焦点位置情報が含まれているか否かの判断が行われる。この判断の結果、Exifヘッダ情報に焦点位置情報が含まれている場合、ステップS305に移行して、表示制御部110により、図5Aに示す左焦点用注目領域、中央焦点用注目領域、右焦点用注目領域の3つの注目領域のうちの、焦点位置情報に対応した焦点位置の注目領域が決定される。反対に、画像データに焦点位置情報が含まれていない場合、ステップS306に移行して、表示制御部110により、撮影シーンモード情報が含まれているか否かの判断が行われる。
ステップS306において、画像データに撮影シーンモード情報が含まれている場合には、ステップS307に移行して、図5Bに示す注目領域のうちの撮影シーンモード情報に対応した注目領域が決定される。他方、Exifヘッダ情報に、焦点位置情報および撮影シーンモード情報のいずれの情報も含まれていない場合には、ステップS308に移行して、表示制御部110により、図5Cに示す標準の注目領域が決定される。
その後、ステップS309に移行して、カウンタNに1が加算された後、ステップS310に移行して、カウンタNが画像総数以下であるか否かの判断が行われる。この判定の結果、カウンタNが画像総数以下でない場合、すなわち、カウンタNの値が画像総数を超えた場合、この一覧表示処理が終了する。他方、カウンタNが画像総数以下の場合、ステップS303に復帰して、表示制御部110により、画像データに対して順次同様の処理が行われる。これにより、画像総数分の画像データごとに、順次注目領域が決定される(ステップS309,S310)。
全ての画像データに対する注目領域の設定が行われた段階で、動作処理が終了する。そして、以上のようにして設定された注目領域は、画像データに付与された撮影情報とともに記憶部113に格納される。
(保護領域の決定処理)
次に、画像データごとに、その含まれている、日付時刻情報としての撮影日時情報(以下、日時情報)に従って、それぞれの画像データにおける保護領域が決定される。この画像データごとの保護領域の決定方法について以下に具体的に説明する。
図6に、画像データに付与された注目領域を、撮影日時情報に基づいて評価することにより保護領域を決定する処理を示す。ここで、保護領域とは、該当する画像データが画面上に並べて表示される際に、他の画像データが重ねて表示されることがないように、表示制御において保護される領域である。
すなわち、図6に示すように、まず、ステップS401において、表示制御の基準となる日時が設定される。ここでは、表示しようとする画像データが有する日時情報の中で、最も新しい日時情報が選ばれる。換言すると、最も近い時点で撮影された画像データを中心とした表示制御が実行される。
次に、ステップS402に移行して、基準日時からの経過時間を算出する際の時間単位が選択される。具体的には、例えば、表示しようとする画像データが有する日時情報のうちの基準日時から最も離れた日時との差に基づいて選択される。そして、この差が1日もしくは数日(具体的には、例えば3日)を超える場合には、単位として日が選択され、数ヶ月(具体的には、例えば3ヶ月)を超える場合には、単位として月が選択される。反対に、この差が1日以下の場合には、時間、あるいは、分が選択される。
次に、ステップS403に移行して、後述する総仮保護面積の積算用変数Sum、画像
データのカウンタNおよびカウンタcを初期化する。具体的には、総仮保護面積の積算用変数Sumを0とし、カウンタNを1とし、cを0とする。
その後、ステップS404に移行して、日時データに基づいて、画像データの注目領域の評価が行われる。具体的には、N番目の画像データに関し、選択した経過時間単位に基づいて、撮影日時情報から基準日時までの経過時間の差ΔNが算出される。その後、ステ
ップS405に移行して、このΔNが0以上か否かの判定が行われる。判定の結果、ΔNが0未満である場合、すなわち、基準日時が撮影日時より前である場合には、後述するステップS410に移行する。他方、ΔNが0以上である場合には、ステップS406に移行
して、画像データを表示対象とする。
その後、ステップS407に移行して、経過時間に基づき注目領域の仮の評価係数αを、係数kを含む形で算出する。ここで、仮評価係数αNは、画像データNの撮影日時か
ら基準日時までの経過時間ΔNに応じて、注目領域を評価し、保護領域を算出するための
係数である。この第1の実施形態においては、経過時間に応じて保護領域が順に小さくなるように、式1で定義される。
αN=exp(−kΔN)・・・(式1)
そして、ステップS408に移行する。ここで、保護領域は、注目領域の面積s0Nを式1の係数に比例するように評価して得られる領域である。すなわち、画像データNの保護領域の仮面積sNは、以下の式2で求められる。
N=αN×s0N・・・(式2)
上述したように、この第1の実施形態における注目領域は、半径r1、r3の円、または2r2およびr2で表される長径短径を有する楕円で定められる。そのため、注目領域の仮面積s0Nは、以下のそれぞれの(式3)〜(式6)により算出される。
(焦点位置情報による注目領域)
0N=π(r12・・・(式3)
(撮影モード情報:人物モードによる注目領域)
0N=π(r22・・・(式4)
(撮影モード情報:風景モードによる注目領域)
0N=2π(r22・・・(式5)
(撮影情報なしの場合の注目領域)
0N=π(r32・・・(式6)
すなわち、ステップS409においては、(式1)を適切な級数に展開することによって、N枚の画像データについて積算された保護領域の仮総面積Sumが、kの多項式として算出される。なお、以下の(式7)は、多項式展開をkの2次の項までとした場合である。
Sum=ak2+bk+c・・・(式7)
これらの算出が実行された後、ステップS410において、処理枚数の計算のためのカウンタNに1が加算される。
以上のステップS404からステップS409による算出は、処理される画像データの数が画像総数を超えるまで繰り返し実行される。
算出処理が処理すべき全ての画像データに対して実行されると、その後、ステップS412に移行して、これらの画像データを表示領域に表示するための係数kが算出される。すなわち、後述するように、画像データは、保護領域が重ならないようにしつつ、それ以
外の部分を互いに重ねて表示されるよう位置制御が行われる。また、他方で、保護領域の外側に重ねられない領域も存在する。そこで、保護領域の面積Sumは、表示が可能な領域に、すなわち表示面積Sallの領域に収める必要がある。これにより、表示面積に対す
る有効な保護領域面積の割合を重ね効率βとして表すと、(式8)の条件が必要となる。
all≧(1/β)×Sum・・・(式8)
そして、ステップS412においては、(式7)から、注目領域を基準日時までに経過時間に応じて評価して保護領域を設定するための係数kが算出される。
その後、ステップS413において、カウンタNを初期化(N=1)した後、ステップS414からステップS417を順次実行する。これにより、ステップS404において既に算出されているΔNと、ステップS412において、算出されているkとから、式2
を満たすs0Nと注目領域の種類によるrN1,rN2またはrN3が、画像データNごとに求められて、保護領域が設定される。ここでrN1,rN2またはrN3は次の式で与えられる。
(焦点位置情報による注目領域)
N=π(rN12・・・(式9)
(撮影モード情報:人物モードによる注目領域)
N=π(rN22・・・(式10)
(撮影モード情報:風景モードによる注目領域)
N=2π(rN22・・・(式11)
(撮影情報なしの場合の注目領域)
N=π(rN32・・・(式12)
(表示処理の制御)
次に、以上のようにして評価され、設定された保護領域に基づく表示処理の制御について説明する。この第1の実施形態による表示処理においては、画像データの保護領域が重なることなく、複数枚の画像データの表示位置と重ねの上下関係を調整することにより、効率よく配置して表示することが目的である。
そこで、まず、既に配置された画像データの表示領域の外縁に新たに配置する画像データを、その保護領域の外縁が接する位置に配置する。また、画像データの表示領域が重なる領域においては、新たに配置する画像データの表示が既に配置された画像データの表示の下側に重なるように配置する。同時に、新しい配置による表示面積の増分が最小となる位置を選択して配置する。すなわち、表示される保護領域を含む領域の面積が極小になるパターンを少なくとも1パターン探索し、その極小となるパターンのうちで最小となるパターンを決定する。逆に言うと、画像データの表示領域のうちの保護領域以外の領域の重ね面積が最も大きくなるような組合せを探索して配置する。この表示処理の制御を、図7に示す。
ここで、この探索処理の簡略化のために、まず、表示領域の中心から既に配置された画像データの表示領域の外縁までの距離が極小値を示す位置を配置候補位置とする。そして、この位置を中心として保護領域が重なることなく表示が確保できる位置を探索し、その探索された位置に画像データを配置した場合の総表示面積を算出する。この総表示面積の算出を複数行った後、これらの複数の配置候補位置のうち表示面積が最も小さい位置を配置位置として決定する。この詳細な手順を図7に示す。
図7に示すように、まず、ステップS501において、表示対象となる画像データの最初の1枚目を表示領域の中心に配置する。続いて、ステップS502に移行して、表示面積の総面積Sumを1枚目の画像データの表示面積として、その総面積Sumの初期化を行う。また、処理枚数のカウンタNの初期化(N=1)を行う。続いて、ステップS50
4に移行して、パターンの探索回数をカウントするカウントiの初期化(i=0)を行う。その後、ステップS505において、表示領域の中心から、すでに配置されている画像データの表示領域の外縁までの距離が極小となる位置Piを求める。
そして、ステップS506に移行して、新たに極小となる位置が存在するか否かの判定が行われる。この極小となる位置が存在する場合には、ステップS507に移行して、その極小となる位置に画像データの表示を配置してみる。その後、ステップS508に移行して、この新たに配置された画像データの表示領域と、すでに配置されている画像データの表示領域とにおいて、新たに配置された画像データにおける保護領域が重ならない限界の位置まで画像データの位置を移動させる。
その後、ステップS509に移行して、新たに配置された画像データにおける保護領域が重ならない限界の位置を位置Piとして設定する。また、このときの表示総面積、すなわち、すでに配置された画像データの表示面積と新たに配置された画像データの表示面積との合計から、重なった部分の面積を減算した面積をSiとする。さらに、処理回数のカウンタiに1を加算する。
そして、これらのステップS505〜ステップS509を、同一の画像データに関して、上述した極小となる位置が存在しなくなるまで実行する。そして、この位置が存在しなくなった段階で、ステップS506からステップS510に移行する。
ステップS510においては、複数の位置Piにおいて、ステップS509において示す表示総面積Siが最小値となる位置を算出する。そして、この最小値となる位置Piに該当の画像データを配置した場合の表示総面積Siを、総面積Sumとする。
次に、ステップS511に移行して、位置Piに位置が確定した新たな画像データを、すでに配置されている画像データに対して最も背面側(下側)に表示する。その後、ステップS512に移行して、処理枚数のカウンタNに1を加算した後、ステップS513に移行して、N枚目の表示対象となる画像データが存在しているか否かの判定が実行される。
この画像データが存在していた場合には、ステップS504に移行して、ステップS504からステップS513をそれぞれ処理に従って繰り返し実行する。そして、この表示対象画像データが存在しなくなった段階で、この表示処理の制御が終了する。
また、図8に、上述した処理手順に従って配置される画像データの表示画面上の様子を模式的に示す。図8Aに、配置される画像データに設定された保護領域を模式的に示す。図8Bから図8Gに、画像データ(1〜6)が処理手順に従って順に表示される様子を模
式的に示す。なお、以下の説明において、位置、面積に関わる計算は、表示制御の単位長さである画素を単位に行われる。なお、図8においては、数字が書かれた白抜きの部分が保護領域である。
図9Aに、上述した制御手順によって27枚の画像データが表示された例を示す。これらの画像データは、この第1の実施形態における全ての画像データであり、2002年4月から2003年10月の期間に撮影され、保存されたデータである。上述したように、表示は、これらの画像データが関連情報としてもつ撮影日時情報のうち、最も新しい撮影日時が基準日時として選ばれ、「日」を単位に表示制御を行ったものである。図9においては、日時情報の新しい画像データから順に表示制御を行ったため、中央に最新の撮影の画像データが、周辺により古い撮影の画像データが配置されている。
また、この第1の実施形態においては、ユーザの操作により基準日時を選択可能に構成
されている。すなわち、図9Aに示すように、基準日時を選択するために画面表示されるグラフィックとして、画像データの撮影日時の範囲を表す時間軸301が表示される。また、軸上に基準日時を調整するスライドバー302を表すグラフィックが表示される。これらの表示により、ユーザは、リモコンの左右ボタンの操作によってこのスライドバー302を動かすことが可能となる。
また、スライドバー302の位置に応じた基準日時を設定することができる。撮影日時の範囲を表す時間軸は、表示制御の対象となる画像データが有する撮影日時情報に応じて調節される。また、軸上の目盛りは、表示制御中において選択された経過時間単位に応じて調節される。図9Aに示すスライドバー302の位置は、表示制御の対象となる画像データが有する撮影日時情報の最新のものが、基準日時に設定されていることを示す。そして、図9Aには、結果表示制御の対象となる画像データの全てが表示されている状態が示される。
図9Bには、ユーザの操作により基準日時が調整され、対象となる画像データの撮影日時の範囲の途中の2002年12月に設定された状態を示す。この第1の実施形態において、撮影日時情報が基準日時以前の画像データは、16枚である。そのため、16枚の画像データに対して、上述した表示制御の処理手順が実行され改めて表示されている。
基準日時以前の画像データを表示し、それ以降の画像データが表示されないという制御は、上述した表示制御部110の動作に含まれている。すなわち、画像データごとに保護領域を設定する処理(図6)においては、基準日時から画像データの撮影日時情報までの経過時間Δが正である画像データだけを表示対象とし(S406)、表示対象となった画像データに対して保護領域を算出している(S414、S415)。また、図7に示す、設定された保護領域に基づく表示処理においても、ステップS501およびステップS513において、表示対象となる画像のみを扱うよう判断する処理手順を有する。
以上説明したように、この第1の実施形態においては、多くの枚数の画像データを表示可能とするために、画像データの表示範囲の一部をお互いに重ねて表示する際、このような注目領域を保護領域として、重ねによって隠されないように制御されている。これにより、画像データの表示領域の一部が他の画像データの表示によって隠されたとしても、ユーザが撮影しようとした意図を維持した表示を行うことが可能となる。これにより、ユーザが目的の写真を容易に探し出すことが可能な表示を行うことができる。
すなわち、一般に、ユーザが、複数の焦点位置を有するデジタルカメラを用いて撮影する場合において、ユーザ自身は、重要と考えている部分に焦点が合っていることを確認しながら撮影を行う。そのため、このような撮影された画像データを複数表示してユーザがその表示を理解したり、目的の画像データを探し出したりする場合には、撮影時に重要であると意図した領域、すなわち注目領域が重要な手掛かりとなる。
さらに、このような注目領域を画像データが有する日時情報に応じて、より古い画像データの注目領域をより狭く評価して保護領域として設定することにより、より多くの枚数の画像データを表示することが可能となる。
また、より撮影日時の新しい画像データであるほど手前側になるように表示されるように制御していることにより、より古い画像データは、特徴となる注目領域の表示を認識可能に維持しつつ、次第により新しい画像データの陰に隠されるようになる。こうした表示上の変化は、現実にプリントした多くの写真そのものを古いプリントの上に新しいプリントを次々配置していく状態に近いため、ユーザの操作感としても受容しやすい。この場合においても、注目領域が可能な限り表示されるよう重ねられているため、撮影の意図を維
持し、目的の写真を探しやすいという性質を保持させることができる。
さらに、基準日時を変更し、基準日時より以前の画像データを同様の表示制御によって再表示することによって、基準日時より新しい画像データによって隠されていた部分を、再びより大きく表示することが可能となり、その日時の範囲内の画像データの判別が容易になる。この表示状態は、実際のプリントを積み重ねた状態において、基準日時より新しいプリントを取り除いて、過去の状態を再現する様子に近く、親しみやすい操作感を有する機能としてユーザに提供することができる。
以上説明した、この第1の実施形態においては、基準の日時より以前の画像データを表示する場合について説明したが、基準の日時より新しい画像データのみを表示したり、また、2つの基準日時を設け、これによって定められる期間に含まれる画像データを表示したりするようにしてもよい。これらの場合においても、さらに基準となる日時を用いて注目領域を評価し、表示の目的に即した保護領域を設定して、上述した処理手順に従って表示位置を調整することによって、より多くの画像データを表示しながらも画像データの撮影意図を保存して目的の写真を探しやすい表示が可能となる。
一方、「風景」「人物」といった撮影シーンモードを用いて撮影した場合においても、ユーザにとって実質的に可能性が高い注目領域を定めることが可能である。例えば、風景写真の場合には、風景全体がユーザにとっての「印象」として残っている場合が多く、画像を判別し選択するためには、この部分を見つけられればよい。また、人物写真の場合には、顔部分が撮影の意図である場合が多く、撮影画像の中央領域に顔が配置される場合が多いという傾向がある。
このような注目領域を「重ね」によって隠されないように保護しながら表示することにより、評点位置による注目領域の場合と同様に、ユーザが撮影した際の意図を保ちつつ、表示を行うことが可能になるとともに、目的の写真を容易に索出可能な表示を行うことが可能となる。
また、このような注目領域を画像データが有する日時情報に応じて、より古い画像データの注目領域をより狭く評価して保護領域を設定することにより、撮影の意図を保存し、目的の写真を探し易くなるという性質を保持しつつ、より大量の画像データを表示させることが可能となり、さらに基準日時の変更による親しみやすい操作感を提供することができる。
また、上述した第1の実施形態においては、撮影シーンモードとして、「風景」および「人物」の2種類を例として挙げたが、かならずしもこれらに限定されるものではなく、「夜景」や「マクロ」などの撮影シーンモードを用いる場合においても、撮影シーンの意図を反映した注目領域を設定して、表示を制御することが可能である。
(第2の実施形態)
次に、この発明の第2の実施形態による画像表示装置について説明する。この第2の実施形態においては、注目の程度に分布を有する注目領域情報による画像データの表示制御を行う場合について説明する。なお、以下の第2の実施形態においては、第1の実施形態との相違部分について説明し、第1の実施形態におけると同様の構成については、その説明を省略する。図10に、この第2の実施形態による画像表示装置の一例としてのデジタルテレビ受信装置400の構成を示す。
表示制御部401は、第1の実施形態による表示制御部110と同様に、画像データ入力部105に対する画像読込の指示、画像処理部106に対する処理実行の指示、ビデオ
メモリ107に対する表示データの書き込み、表示合成部108に対する合成処理の指示、記憶手段としての記憶部113に対する情報の記憶指示を行う。また、評価手段および調整手段としての表示制御部401は、ユーザ入力部111を介してリモコン114からの入力データを取得し、画像データ入力部105を介して、デジタル画像データに付与された撮影データの取得を行い、関連情報取得部としても機能する。さらに、この第2の実施形態において、表示制御部401は、顔認識部402を制御して記憶部113に格納された画像データにおける注目領域分布を得て、画像処理部106と協働した表示制御部として機能する。
顔認識部402は、表示制御部の指示により記憶部113に格納された画像データが入力されると、画像データ中に存在する人物の顔領域を検出し、確率分布を有する注目領域情報を出力する。注目領域情報は、画像データの関連情報の一部として記憶部113に格納される。
図11に、顔認識部402の機能を示す。図11Aに、顔認識部402の入力となる画像データの例を示す。顔認識部402は、はじめに人物の目、口元といった部分が示す特徴的なパターンを画像データの中から抽出する。次に、目、口元を中心として人の肌色の領域、髪の毛の領域を抽出し、この範囲を顔領域として認識する。そして、この認識によって、認識の確度分布を有する領域情報を出力する。この出力例を図11Bに模式的に示す。なお、図11Aに示す画像データは、窓際に位置する人物を撮影したものであり、適度な露出が与えられた顔の中心部から、両目、口元および、これに続く肌部分が高い確率で抽出されている。
しかしながら、画像中の人物の右手が顔の一部にかかる位置にあるため、肌色領域は、本来の顔範囲を超えて広がり、肌色領域の形状は、そのまま顔領域として判定するには、不自然であり、かつ本来の顔領域の境界を判別することが困難である。そのため、人物の右頬部分の顔領域は、次第に確度が低下する分布として認識される。また、人物の髪領域の広がりも、左頭部(図9A中、右側)は、背景の樹木の暗部に溶け込み、また、右頭部(図9A中、左側)は、外光の反射によるハイライトが背景の明部につながっており、確度の分布として認識されている。
この第2の実施形態においては、表示制御部401により、顔認識部402によって画像データごとに抽出が行われ、関連情報として記憶部113に格納される「顔認識の確度分布」を注目領域として、画像ビューア機能における画像表示処理が実行される。
図12に、表示制御部401によって、ビューア機能起動時に実行される注目領域情報付与制御を示す。まず、画像データの枚数のカウンタNが初期化されて1に設定された後、ステップS602に移行して、表示制御部401により、N枚目の画像データが顔認識部402に転送される。その後、ステップS603に移行して、顔認識部402が制御されて注目領域分析が実行され、いわゆる顔認識処理が実行される。その後、ステップS604において、顔領域が存在するか否かの判定が行われる。
画像データ中に認識可能な顔領域を抽出された場合には、ステップS605に移行して、顔認識処理による確度分布を画像データの注目領域情報に設定する。その後、ステップS607において、累積面積テーブルが作成される。なお、累積面積テーブルとは、画像データの確度分布においてある確度以上の領域の面積を画素数で表現したデータであり、図13に、この累積面積テーブルの一例を模式的に示す。
他方、画像データ中に認識できる顔領域が存在しない場合には、ステップS606に移行して、図14に示すような画像の中央を注目点とした分布を有する標準注目領域情報が設定される。その後、ステップS607に移行して、確度分布の累積面積テーブルが作成される。その後、ステップS608に移行して、カウンタNに1を加算する。そして、ステップS609において、カウンタNが画像総数に達するまでステップS602からステップS607の処理が繰り返し実行される。
(パラメータ決定制御処理)
次に、表示制御部401により、表示対象となる画像データの注目領域を基準日時に応じて評価しつつ、保護領域とした部分が他の画像データの表示領域の下に隠れないように制御するためのパラメータを決定する制御処理について説明する。図15に、このパラメータ決定制御処理を示す。
すなわち、図15に示すように、まず、ステップS701において、表示制御と基準となる日時が設定される。ここでは、第1の実施形態における場合と同様に、表示しようとする画像データが有する日時情報のうちの、最新の日時情報を選択できるとともに、ユーザ操作などにより適切な基準日時を設定することが可能な日時を例とする。
次に、ステップS702において、基準日時からの経過時間を算出する際の時間単位が選択される。そして、ステップS703に移行して、表示制御に必要な変数が初期化される。なお、Sumは、仮保護領域面積の総和を求める変数、Nは、画像データを順に扱うためのカウンタ、cは、表示対象となる画像データの枚数のカウンタ、Pminは、表示制
御のためのパラメータ、Piは、あらかじめ決定されたパラメータ候補の値である。
そして、ステップS704において、表示制御部401により、N枚目の画像データに関する関連情報の撮影日時情報と基準日時情報とが比較される。撮影日時が基準日時より以前である場合には、その画像データが表示対象とされる。そして、ステップS707に移行し、画像データの仮保護領域面積SNが算出される。
すなわち、N枚目の画像データの撮影日時から基準日時からの経過時間ΔNに応じて注
目領域を評価する関数を図16Aに示すように定める。この図16Aの状態を数式により表すと、式13のように定められる。
αN=1−(1―Pmin)exp(−kΔN)・・・(式13)
このαは、顔領域の確度分布において保護領域として採用する下限となる確度を与えるものであり、Pminに与えられるパラメータPi(=P1、P2・・・)によって、評価程度を調整することができる。ここで、図15に示す処理手順において、Pminは、最初に
比較的小さい値P1が与えられ、注目領域である顔領域は、広く保護領域として評価され
る。仮保護領域面積SNは、画像データに付与された確度分布から確率がαN以上である面積として算出される。また、簡易的には、既に用意されている累積面積テーブル(図13)によって求めることができる。
次に、ステップS708において、算出された仮保護領域面積SNは仮保護領域面積の
総和Sumに加えられる。ステップS709およびステップS710を通じて、ひとつのパラメータPiについての仮保護領域面積の総和Sumが算出される。
その後、ステップS711に移行して、仮保護領域面積の総和Sumが重ね効率βを用いて表示総面積Sallと比較される。この比較の結果、仮保護領域面積の総和Sumが重
ね効率を考慮して表示総面積Sallに収まらないと判断された場合、ステップS712に
移行して、仮保護面積の総和Sum、カウンタNがそれぞれ初期化され、iに1が加算されPminの値が新たなPiに変更されて、再度保護領域の評価が実行される。
他方、ステップS711において、仮保護領域面積の総和Sumが重ね効率βを考慮して表示総面積Sallに収まると判断された場合、このときのPiがパラメータPminの値と
して採用される。その後、ステップS713において、カウンタNが初期化された後、第1の実施形態におけるステップS414からステップS416と同様の、ステップS714からステップS717において、表示対象となる画像データに保護領域が設定される。
(式14)は、経過時間Δ時間に対して保護領域として採用する確度の下限を与える(式13)の他の例であり、図15Bに表す変化を示す。
αN=1−Pmin×exp(−kiΔN)・・・(式14)
(式14)を用いた場合、図15の手順では、kiを順に変化させ、基準日時に近い画
像データの保護領域の面積を変化させることなく、保護領域の面積の調整を行うことが可能となる。なお、そのほかの処理手順については、第1の実施形態および上述した手順に従って、同様に動作させることが可能である。
次に、表示制御部401により、注目領域の確度分布から経過時間ΔNに応じて評価さ
れ、設定された保護領域に基づいて、画像データの表示処理が行われる。この表示処理制御は、画像データの保護領域を重ねることなく、複数枚の画像データを効率よく配置して表示することが目的である。
そのため、既に配置された画像データの表示領域の外縁に新たに配置する画像データの保護領域の外縁を接する位置において、画像データの表示領域が重なる領域においては、新たに配置する画像データの表示が、すでに配置された画像データの表示の下側(より背面側)に重なるように配置されるとともに、新しい配置による表示面積の増分が最小となるように位置が選択されて配置される。換言すると、画像データの表示領域のうち保護領域以外の領域の重ね面積が最も大きくなるような位置を探索して配置する。
すなわち、第1の実施形態による表示制御処理と同様にして、表示領域の中心から既に配置された画像データの表示領域の外縁までの距離が極小値を示す位置を配置候補位置とし、この位置を中心に保護領域の表示が確保できる位置を探索し、その位置に画像データを配置した場合の総表示面積を算出する。複数の配置候補位置のうちで、表示面積が最も小さい位置が配置位置として決定される。このときの表示処理制御の手順は、図7に示す手順と同様である。この表示処理制御に従って配置された画像データの表示画面上の状態は、図17に示すように、第1の実施形態におけると同様に、中央部にもっとも前面に配置される画像データが表示され、表示領域の外側になるに従って、下側(より背面側)に配置されつつ、保護領域が表示される状態である。
また、一般に、人物が撮影された画像データにおいて、一般的に撮影された人物の特徴を捉えることのできる画像領域が見えている状態であれば、その画像データの内容を概ね理解することができる。また、理解に至るまで進まなくとも検索動作における大きな手掛かりとなる。このことは、人物が撮影された画像データの注目領域として顔領域を選択することが、非常に有効であることを示す。
そこで、この第2の実施形態においては、画像処理によって抽出される画像データ中の顔領域を特徴領域として、抽出の確度分布に基づいて保護領域を定め、一定の表示領域に大量の画像データを表示するために画像データの表示範囲の一部を互いに重ねて表示する際に、このような注目領域を保護領域として、複数の画像データが重ねられることによって、その保護領域が隠されないように制御を実行していることにより、大量に表示された画像データの中から目的の画像を容易に探し出すことができる表示が実行可能となる。
また、このような注目領域を、画像データの有する日時情報に応じて、より古い画像データの注目領域をより狭く評価する際に、顔認識の抽出確度に応じて評価するようにしていることにより、より特徴を表す確率の高い部分を中心に表示することができるので、表示枚数が増加した場合であっても、探しやすさが低減しにくいと言う利点も有する。
また、第2の実施形態においては、第1の実施形態と同様に、画面上の操作要素、あるいは、その他の手段によって基準日時を任意に変更し、大量に積み重ねた実際の写真の中から目的のものを探し出すといった、現実の動作に近く親しみやすい操作感をユーザに提供することができる。
また、この第2の実施形態においては、注目領域を評価する基準として、日時情報を採用する場合を例として説明したが、注目領域を評価して保護領域を定め、この領域に重ならないように表示を制御する、この発明の構成に基づけば、評価の基準を必ずしも日時情報に限定する必要はない。具体的には、例えば、画像の類似度を基準に評価を行うことも可能である。また、この場合においても、より目的に適った、類似度の高い画像を、際だたせて目立つように表示することができるとともに、目的達成のための候補の中で順位の低い画像についても、その必要度に応じて、その応分の面積で、かつ特徴となる部分を保存するように表示することができる。そのため、より多くの枚数の画像データによる実質的に見やすく、探しやすい一覧表示を実現することが可能となる。
以上、この発明の実施形態について具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、上述の実施形態において挙げた数値は、あくまでも例に過ぎず、必要に応じてこれと異なる数値を用いてもよい。
この発明の第1の実施形態によるデジタルテレビの構成を示すブロック図である。 この発明の第1の実施形態によるデジタルテレビの操作を行うためのリモコンを示す斜視略線図である。 この発明の第1の実施形態によるデジタルカメラの撮影時の液晶表示を示す略線図である。 この発明の第1の実施形態による表示制御を説明するためのフローチャートである。 この発明の第1の実施形態によるデジタルテレビの注目領域の種類を説明するための略線図である。 この発明の第1の実施形態による保護領域を決定する処理を説明するためのフローチャートである。 この発明の第1の実施形態による表示制御を説明するためのフローチャートである。 この発明の第1の実施形態による画像データの表示画面上の表示状態を示す略線図である。 この発明の第1の実施形態による画像データの表示状態を示す略線図である。 この発明の第2の実施形態によるデジタルテレビの構成を示すブロック図である。 この発明の第2の実施形態による顔認識機能を説明するための略線図である。 この発明の第2の実施形態による表示制御を説明するためのフローチャートである。 この発明の第2の実施形態による累積面積テーブルを模式的に示す表である。 この発明の第2の実施形態による標準注目領域情報を示す略線図である。 この発明の第2の実施形態による表示制御を説明するためのフローチャートである。 この発明の第2の実施形態による表示制御処理における注目領域を評価する関数を示すグラフである。 この発明の第2の実施形態による画像データの表示状態を示す略線図である。 従来技術による画像の表示状態を示す略線図である。
符号の説明
100,400 デジタルテレビ受信装置
101 チューナ部
102 デマルチプレクサ部
103 映像・音声デコーダ
104 音声出力部
105 画像データ入力部
106 画像処理部
107 ビデオメモリ
108 表示合成部
109 カードスロット
110 表示制御部
111 ユーザ入力部
112 表示器
113 記憶部
114 リモコン
201 発光部
202 電源キー
203 カーソル決定キー
204,205 アップダウンキー
206 数字キー
207 カラーキー
208 モニターモードキー
209 ビューワキー
301 時間軸
302 スライドバー
401 表示制御部
402 顔認識部

Claims (9)

  1. 数の画像それぞれについて、画像内の一部領域である注目領域を表す注目領域情報と、画像の日付時刻情報を記憶する記憶手段と、
    それぞれの画像の注目領域情報を、基準の日付時刻情報と該画像の日付時刻情報とに基づいて評価し、それぞれの画像の注目領域内保護領域定する評価手段と、
    設定された保護領域に基づいて、それぞれの画像が保護領域以外の部分で他の画像と重なるように、前記複数の画像の表示位置および上下関係を調整する調整手段とを有し、
    調整された表示位置および上下関係に従って、前記複数の画像を画面に一覧表示させるように構成されている
    ことを特徴とする画像表示装置。
  2. 前記基準の日付時刻情報は、前記複数の画像の日付時刻情報のうち最も新しい日付時刻情報である
    ことを特徴とする請求項1記載の画像表示装置。
  3. 前記基準の日付時刻情報は、前記複数の画像日付時刻情報から選択された日付時刻情報である
    ことを特徴とする請求項1記載の画像表示装置。
  4. 前記評価手段は、各画像の日付時刻情報を前記基準の日付時刻情報と比較して、前記基準の日付時刻との差が大きい画像ほど保護領域の面積を小さく設定す
    ことを特徴とする請求項1乃至請求項3のいずれか1項記載の画像表示装置。
  5. 前記注目領域情報が、注目の程度に分布を有する情報であり、
    前記評価手段は、各画像の日付時刻情報を前記基準の日付時刻情報と比較し、前記基準の日付時刻との差が小さい画像ほど注目度の低い領域まで保護領域を設定する
    ことを特徴とする請求項1乃至請求項3のいずれか1項記載の画像表示装置。
  6. 前記調整手段は、前記評価手段による評価結果に基づいて、古い日付時刻情報を有する画像ほど背面側に配置するように、前記複数の画像の上下関係を調整す
    ことを特徴とする請求項1乃至請求項5のいずれか1項記載の画像表示装置。
  7. 前記注目領域は、画像の撮影時における焦点位置を含む領域である
    ことを特徴とする請求項1乃至請求項6のいずれか1項記載の画像表示装置。
  8. 複数の画像のそれぞれについて、画像内の一部領域である注目領域を示す注目領域情報と、画像の日付時刻情報とを記憶するステップと、
    それぞれの画像の注目領域情報を、基準の日付時刻情報と該画像の日付時刻情報とに基づいて評価するステップと、
    評価された結果に基づいて、ぞれぞれの画像の注目領域内保護領域定するステップと、
    設定された保護領域に基づいて、それぞれの画像が保護領域以外の部分で他の画像と重なるように、前記複数の画像の表示位置および上下関係を調整し、調整された表示位置および上下関係に従って前記複数の画像を画面に一覧表示させるステップとを有する
    ことを特徴とする画像表示方法。
  9. 複数の画像のそれぞれについて、画像内の一部領域である注目領域を示す注目領域情報と、画像の日付時刻情報とを記憶手段に格納するステップと、
    それぞれの画像の注目領域情報を、基準の日付時刻情報と該画像の日付時刻情報とに基づいて評価するステップと、
    評価された結果に基づいて、ぞれぞれの画像の注目領域内保護領域定するステップと、
    設定された保護領域に基づいて、それぞれの画像が保護領域以外の部分で他の画像と重なるように、前記複数の画像の表示位置および上下関係を調整し、調整された表示位置および上下関係に従って前記複数の画像を画面に一覧表示させるステップとを、
    コンピュータに実行させるための画像表示プログラム。
JP2004006905A 2004-01-14 2004-01-14 画像表示装置、画像表示方法および画像表示プログラム Expired - Fee Related JP4208726B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004006905A JP4208726B2 (ja) 2004-01-14 2004-01-14 画像表示装置、画像表示方法および画像表示プログラム
CN2005100043440A CN1641742B (zh) 2004-01-14 2005-01-13 图像显示控制方法以及图像显示控制装置
US11/036,401 US7239347B2 (en) 2004-01-14 2005-01-14 Image display controlling method, image display controlling apparatus and image display controlling program
KR1020050003557A KR100596910B1 (ko) 2004-01-14 2005-01-14 화상표시제어방법 및 화상표시제어장치
US11/734,621 US7522195B2 (en) 2004-01-14 2007-04-12 Image display controlling apparatus and method for superimposing images based on attention area and data time information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004006905A JP4208726B2 (ja) 2004-01-14 2004-01-14 画像表示装置、画像表示方法および画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2005202588A JP2005202588A (ja) 2005-07-28
JP4208726B2 true JP4208726B2 (ja) 2009-01-14

Family

ID=34820741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004006905A Expired - Fee Related JP4208726B2 (ja) 2004-01-14 2004-01-14 画像表示装置、画像表示方法および画像表示プログラム

Country Status (4)

Country Link
US (2) US7239347B2 (ja)
JP (1) JP4208726B2 (ja)
KR (1) KR100596910B1 (ja)
CN (1) CN1641742B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4208726B2 (ja) * 2004-01-14 2009-01-14 キヤノン株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2007079641A (ja) * 2005-09-09 2007-03-29 Canon Inc 情報処理装置及び情報処理方法及びプログラム及び記憶媒体
KR100719023B1 (ko) * 2005-10-08 2007-05-17 삼성전자주식회사 디스플레이장치 및 컨텐츠 정보 표시방법
JP2007142565A (ja) * 2005-11-15 2007-06-07 Olympus Imaging Corp 撮像装置及びその撮像方法
JP4712576B2 (ja) * 2006-02-17 2011-06-29 富士フイルム株式会社 画像レイアウト装置および方法並びにプログラム
JP4958454B2 (ja) * 2006-03-10 2012-06-20 三洋電機株式会社 テレビ放送受信機
US7620267B2 (en) * 2006-04-28 2009-11-17 Hewlett-Packard Development Company, L.P. Collage generation with occlusion costing
KR100860964B1 (ko) * 2006-07-05 2008-09-30 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
JP2008066974A (ja) * 2006-09-06 2008-03-21 Olympus Imaging Corp 画像表示方法及び画像表示装置並びにカメラ
JP4379510B2 (ja) * 2007-10-15 2009-12-09 船井電機株式会社 Tv受像機と、画像形成装置とを含む画像形成システム
US8922518B2 (en) 2007-12-20 2014-12-30 Samsung Electronics Co., Ltd. Mobile terminal having touch screen and function controlling method of the same
KR20090066368A (ko) 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US10503376B2 (en) 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
KR101448308B1 (ko) * 2008-02-04 2014-10-08 삼성전자주식회사 썸네일 이미지 생성 방법 및 장치
KR101442611B1 (ko) * 2008-03-06 2014-09-23 삼성전자주식회사 복수의 레이어들을 중복하여 디스플레이하는 디스플레이장치 및 이의 제어 방법
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ui 제공방법 및이를 적용한 촬영장치
US20100318913A1 (en) * 2009-06-15 2010-12-16 Shiraz Cupala Method and apparatus of providing graphical user interface for visually streaming media
US8812990B2 (en) 2009-12-11 2014-08-19 Nokia Corporation Method and apparatus for presenting a first person world view of content
US8543917B2 (en) * 2009-12-11 2013-09-24 Nokia Corporation Method and apparatus for presenting a first-person world view of content
JP5516302B2 (ja) * 2010-10-06 2014-06-11 株式会社Jvcケンウッド 画像表示装置、画像表示方法
JP5408208B2 (ja) 2011-03-30 2014-02-05 カシオ計算機株式会社 画像表示システム、画像表示装置並びにプログラム
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20130007645A1 (en) * 2011-06-30 2013-01-03 Microsoft Corporation Visual time filter control tool for data analysis applications
USD667459S1 (en) * 2011-09-09 2012-09-18 Microsoft Corporation Display screen with icon
USD738383S1 (en) * 2012-08-29 2015-09-08 Samsung Electronics Co., Ltd. Digital camera with a graphical user interface
USD737831S1 (en) * 2012-08-29 2015-09-01 Samsung Electronics Co., Ltd. Digital camera with an animated graphical user interface
USD738384S1 (en) * 2012-08-29 2015-09-08 Samsung Electronics Co., Ltd. Digital camera with a graphical user interface
USD737832S1 (en) * 2012-08-29 2015-09-01 Samsung Electronics Co., Ltd. Digital camera with a graphical user interface
JP6420530B2 (ja) 2013-06-26 2018-11-07 キヤノン株式会社 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
JP6144976B2 (ja) 2013-06-26 2017-06-07 キヤノン株式会社 情報処理装置、組み付け装置、情報処理方法、及びプログラム
JP2015097382A (ja) 2013-10-08 2015-05-21 キヤノン株式会社 情報処理装置、撮像システム、情報処理方法、及びプログラム
KR102252448B1 (ko) 2014-09-12 2021-05-14 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
JP6660119B2 (ja) 2015-08-07 2020-03-04 キヤノン株式会社 情報処理装置、情報処理方法、並びにプログラム
JP6765884B2 (ja) * 2016-07-15 2020-10-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN107168673B (zh) * 2017-05-16 2021-01-22 西安万像电子科技有限公司 窗口的控制方法、装置和***、存储介质及处理器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241656A (en) * 1989-02-06 1993-08-31 International Business Machines Corporation Depth buffer clipping for window management
JPH05233195A (ja) * 1992-02-26 1993-09-10 Nec Corp マルチウィンドウ表示装置
JPH09256130A (ja) 1996-03-18 1997-09-30 Mitsubishi Heavy Ind Ltd 連続溶融金属メッキ装置
JPH10228469A (ja) 1997-02-17 1998-08-25 Canon Inc 情報処理装置及びその制御方法
US6744934B2 (en) * 1998-07-23 2004-06-01 Fuji Photo Film Co., Ltd. Method, apparatus and recording medium for generating an image file having hierarchical image data representing a plurality of still images having different display dimensions
JP2000105772A (ja) * 1998-07-28 2000-04-11 Sharp Corp 情報管理装置
US6054989A (en) * 1998-09-14 2000-04-25 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which provides spatialized audio
JP2000138814A (ja) 1998-10-30 2000-05-16 Minolta Co Ltd 画像レイアウト装置
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
JP2001313883A (ja) 2000-05-01 2001-11-09 Sony Corp 情報処理装置および方法、並びにプログラム格納媒体
JP4431918B2 (ja) * 2000-05-01 2010-03-17 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2002175068A (ja) * 2000-09-22 2002-06-21 Canon Inc 画像表示システム、画像表示方法、記憶媒体及び画像表示装置
US6697124B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Smart picture-in-picture
JP4778158B2 (ja) * 2001-05-31 2011-09-21 オリンパス株式会社 画像選出支援装置
US7159177B2 (en) * 2001-08-29 2007-01-02 Digeo, Inc. System and method for focused navigation within a user interface
JP2003122466A (ja) 2001-10-12 2003-04-25 Fujitsu Ltd 一覧表示データ作成装置およびデータ作成プログラム
JP4280656B2 (ja) 2003-06-20 2009-06-17 キヤノン株式会社 画像表示装置およびその画像表示方法
JP4208726B2 (ja) * 2004-01-14 2009-01-14 キヤノン株式会社 画像表示装置、画像表示方法および画像表示プログラム

Also Published As

Publication number Publication date
CN1641742A (zh) 2005-07-20
US20070188628A1 (en) 2007-08-16
KR100596910B1 (ko) 2006-07-04
JP2005202588A (ja) 2005-07-28
US7522195B2 (en) 2009-04-21
KR20050074924A (ko) 2005-07-19
CN1641742B (zh) 2011-08-31
US7239347B2 (en) 2007-07-03
US20050183038A1 (en) 2005-08-18

Similar Documents

Publication Publication Date Title
JP4208726B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4280656B2 (ja) 画像表示装置およびその画像表示方法
JP4510718B2 (ja) 画像出力装置及びその制御方法
KR100714888B1 (ko) 화상표시방법 및 화상표시장치
JP4574459B2 (ja) 撮影装置及びその制御方法及びプログラム及び記憶媒体
JPH11136568A (ja) タッチパネル操作式カメラ
US8189071B2 (en) Imaging apparatus and method for searching for classified images
US8432474B2 (en) Image pickup apparatus
JP4725854B2 (ja) 画像表示装置及び画像表示方法
US20080174687A1 (en) Apparatus and method for photographing
JP5826026B2 (ja) 撮像装置およびその制御方法
JP2010177731A (ja) 画像再生装置及び撮像装置
JP5663920B2 (ja) 電子機器、およびパノラマ画像表示プログラム
JP4682254B2 (ja) 画像表示方法および画像処理装置
JP5675922B2 (ja) 撮影表示装置
JP5195317B2 (ja) カメラ装置、及び撮影方法、撮影制御プログラム
JP4655660B2 (ja) デジタルカメラ、動画編集方法、及びプログラム
US8643744B2 (en) Image processing apparatus and image file management method
KR101190675B1 (ko) 디지털 카메라의 내부 저장 매체 및 외부 저장 매체 사이의 이미지 복사 장치 및 방법
JP2003259257A (ja) 画像データ処理装置及び方法
JP2010074340A (ja) スライドショー再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081021

R150 Certificate of patent or registration of utility model

Ref document number: 4208726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees