JP4145746B2 - 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体 - Google Patents

情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4145746B2
JP4145746B2 JP2003198613A JP2003198613A JP4145746B2 JP 4145746 B2 JP4145746 B2 JP 4145746B2 JP 2003198613 A JP2003198613 A JP 2003198613A JP 2003198613 A JP2003198613 A JP 2003198613A JP 4145746 B2 JP4145746 B2 JP 4145746B2
Authority
JP
Japan
Prior art keywords
information
presentation information
summary presentation
file
thumbnail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003198613A
Other languages
English (en)
Other versions
JP2005038101A (ja
JP2005038101A5 (ja
Inventor
達生 首藤
加奈恵 直居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003198613A priority Critical patent/JP4145746B2/ja
Priority to US10/564,710 priority patent/US20060224937A1/en
Priority to PCT/JP2004/010041 priority patent/WO2005008463A1/ja
Priority to EP04747507A priority patent/EP1650638B1/en
Publication of JP2005038101A publication Critical patent/JP2005038101A/ja
Publication of JP2005038101A5 publication Critical patent/JP2005038101A5/ja
Application granted granted Critical
Publication of JP4145746B2 publication Critical patent/JP4145746B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • H04L51/066Format adaptation, e.g. format conversion or compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58Message adaptation for wireless communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体に関し、特に、ユーザの利便性が高く、複数のデータの概要を提示する情報を出力する情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
近年、携帯電話やPDA(Personal Digital Assistants)などの通信機能を備えた装置が爆発的に普及し、その機能や性能は着々と進歩している。携帯電話を利用した電子メールの送受信機能に着目すると、送信可能なデータサイズが大きくなり、対応するデータの種類が増加している。これにより、静止画、動画、音声、およびアニメーションといったマルチメディアデータを1つまたは複数、メールに添付し送受信することができるようになった。
【0003】
そこで、そのような装置においても、パソコン(パーソナルコンピュータ)での処理と同様に、メールに添付されたマルチメディアデータや、スライドショーされるデータの各スライドや、複数のシーンから構成され時間的に遷移するムービーデータの各シーンなどの表示サイズを縮小した概要提示用の画像を複数並べて表示することによって、各データの内容をユーザが簡単に素早く認識できるようになり、利便性が増すと考えられる。
【0004】
データの縮小画像を表示する技術を採用した装置としては、たとえば、特許文献1に記載されているような、メールに添付されたファイルのサムネイル画像を作成する電子メール受信装置が知られている。特許文献1に記載されている電子メール受信装置は、メールに添付された画像ファイルを、その概略が認識可能な画像であるサムネイル画像に変換し、また、画像以外の形式のファイルについても、一旦画像データに変換した後にサムネイル画像に変換し、受信メール本文と共に表示するという装置である。
【0005】
【特許文献1】
特開2001−75892号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示されている方法を近年の携帯端末などの装置に適用すると以下のような問題点が生じる。
【0007】
すなわち、近年の携帯端末などの装置は、演算能力が向上し、搭載する記憶領域の容量が増えたものの、パソコンなどに比べると使えるリソースは少なく、サムネイル画像作成のための演算速度が確保し難いという問題がある。
【0008】
また、液晶ディスプレイなどの表示デバイスの性能が向上し、画面内により多くのテキスト、大きな画像、および映像を表示可能になってきているために、扱う画像や映像がより大きなものになってきており、その縮小画像であるサムネイル画像を作成するのに時間がかかるという問題がある。
【0009】
また、送受信可能なデータサイズが大きくなったことで、数個から数十個のファイルを1通のメールに添付可能になってきており、複数あるデータすべてのサムネイル画像を瞬時に作成することは困難で、ユーザが添付ファイルのサムネイル画像一覧を表示させる操作を行なってからすべてのサムネイル画像が作成されて表示が完了するまでに数秒程度要してしまい、ユーザがストレスを感じてしまう場合があるという問題がある。
【0010】
そこで、メールの送信側で、添付ファイルと共にそのサムネイル画像を一緒に送信し、受信側は新たにサムネイル画像を作成することなくこのサムネイル画像を取出すだけで即時に表示するという解決策も考えられるが、携帯端末のメール送受信システムにおいては、送受信可能なデータサイズの上限があり、サムネイル画像データを付加したことによってその上限を超えてしまって送信できなくなるという問題が発生する場合がある。さらに、送受信するデータサイズに応じた課金がなされていれば、サムネイルを付加する分ユーザの負担が増えてしまうという問題も発生する。
【0011】
また、サムネイル画像を作成する処理には少なからず電力を消費し、電池で駆動する装置においてはサムネイル画像を作成するために電池が早く消耗してしまう場合があるという問題もある。
【0012】
本発明は上述の問題点に鑑みてなされたもので、装置上で、電子メールなどの外部から受信した文書やユーザが作成した文書が1つ以上のメディアデータを含み、各メディアデータのサムネイル画像を表示する場合において、サムネイルリスト表示画面に切替えたときのもたつきや、このもたつきによりユーザが感じるストレスを軽減することのできる情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体を提供することを目的とする。
【0013】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、情報出力装置は、情報を選択する第1の情報選択手段と、第1の情報選択手段で選択された情報に含まれる複数のマルチメディアデータの概要提示情報を作成する概要提示情報作成手段と、作成された概要提示情報を提示する提示手段とを備え、提示手段は、概要提示情報作成処理の完了前において、概要提示情報に替わる代替情報として、概要提示情報とは異なる情報、または概要提示情報作成手段で作成途中の概要提示情報を、各々の概要提示情報作成処理に応じて段階的に提示する。
【0015】
また、情報出力装置は、概要提示情報作成手段での概要提示情報作成処理の実行を制御する概要提示情報作成制御手段と、概要提示情報を格納する格納手段をさらに備え、概要提示情報が格納手段に格納されている場合には、概要提示情報作成制御手段は、概要提示情報作成手段において概要提示情報作成処理を実行しないよう制御し、提示手段は、格納手段に格納されている概要提示情報を提示することが好ましい。
【0016】
また、情報出力装置は、第1の情報選択手段で選択された情報に基づいて、概要提示情報作成処理を行なう対象とする情報を選択する第2の情報選択手段をさらに備え、概要提示情報作成手段は、第2の情報選択手段で選択された情報に含まれるマルチメディアデータの概要提示情報を作成して格納手段に格納することがより好ましい。
【0017】
さらに、第2の情報選択手段は、当該情報出力装置の状況に基づいて概要提示情報作成処理を行なう対象とする情報を選択することがより好ましい。
【0018】
または、第2の情報選択手段は、情報選択手段で選択された情報の属性に基づいて概要提示情報作成処理を行なう対象とする情報を選択することがより好ましい。
【0019】
また、第2の情報選択手段で選択された複数の情報に複数のマルチメディアデータを含む情報が含まれるとき、概要提示情報作成制御手段は、第2の情報選択手段で選択されたすべての情報について、情報に含まれる少なくとも1つのマルチメディアデータの概要提示情報が作成されるよう、概要提示情報作成手段での概要提示情報作成処理の実行を制御することが好ましい。
【0020】
または、第2の情報選択手段で選択された複数の情報に複数のマルチメディアデータを含む情報が含まれるとき、概要提示情報作成制御手段は、第2の情報選択手段で選択された1つの情報について、1つの情報に含まれるすべてのマルチメディアデータの概要提示情報が作成された後に、次の情報に含まれるマルチメディアデータの概要提示情報を作成するよう、概要提示情報作成手段での概要提示情報作成処理の実行を制御することが好ましい。
【0021】
また、情報出力装置は、格納手段から削除対象である概要提示情報を選択する削除概要提示情報選択手段と、選択された概要提示情報を削除する削除手段とをさらに備えることが好ましい。
【0022】
さらに、削除概要提示情報選択手段は、マルチメディアデータの属性に基づいて削除対象の概要提示情報を選択することがより好ましい。
【0023】
または、削除概要提示情報選択手段は、概要提示情報のデータサイズに基づいて削除対象の概要提示情報を選択することが好ましい。
【0024】
または、削除概要提示情報選択手段は、概要提示情報作成手段での概要提示情報作成処理のコストに基づいて削除対象の概要提示情報を選択することが好ましい。
【0025】
または、削除概要提示情報選択手段は、提示手段での概要提示情報の提示状況に基づいて削除対象の概要提示情報を選択することが好ましい。
【0026】
また、削除概要提示情報選択手段が削除対象の概要提示情報を複数選択したとき、削除手段は、1つの情報に含まれる少なくとも1つのマルチメディアデータの概要提示情報を残すように削除対象の概要提示情報のうちの所定の概要提示情報を削除することが好ましい。
【0027】
また、情報出力装置は、提示手段での概要提示情報の提示のタイミングを制御する概要提示情報提示制御手段をさらに備えることが好ましい。
【0028】
さらに、概要提示情報提示制御手段は、第1の情報選択手段で情報が選択された後、所定時間経過後に概要提示情報を提示するよう、提示手段での概要提示情報の提示のタイミングを制御することがより好ましい。
【0029】
また、マルチメディアデータは画像を含むデータであって、概要提示情報作成手段は、画像の少なくとも一部を用いて概要提示情報を作成することが好ましい。
【0030】
本発明の他の局面に従うと、情報出力方法は、情報を選択する第1の情報選択ステップと、第1の情報選択ステップで選択された情報に含まれる複数のマルチメディアデータの概要提示情報を並列的に作成する概要提示情報作成ステップと、作成された概要提示情報を提示する提示ステップとを備え、提示ステップは、概要提示情報作成処理の完了前において、概要提示情報に替わる代替情報として、概要提示情報とは異なる情報、または概要提示情報作成ステップで作成途中の概要提示情報を、各々の概要提示情報作成処理に応じて段階的に提示する。
【0032】
また、情報出力方法は、概要提示情報作成ステップでの概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップと、概要提示情報を格納装置に格納する格納ステップをさらに備え、概要提示情報が格納装置に格納されている場合には、概要提示情報作成制御ステップは、概要提示情報作成ステップにおいて概要提示情報作成処理を実行しないよう制御し、提示ステップは、格納装置に格納されている概要提示情報を提示することが好ましい。
【0033】
また、情報出力方法は、第1の情報選択ステップで選択された情報に基づいて、概要提示情報作成処理を行なう対象とする情報を選択する第2の情報選択ステップをさらに備え、概要提示情報作成ステップは、第2の情報選択ステップで選択された情報に含まれるマルチメディアデータの概要提示情報を作成して格納装置に格納することがより好ましい。
【0034】
さらに、第2の情報選択ステップは、情報出力装置の状況に基づいて概要提示情報作成処理を行なう対象とする情報を選択することがより好ましい。
【0035】
または、第2の情報選択ステップは、情報選択ステップで選択された情報の属性に基づいて概要提示情報作成処理を行なう対象とする情報を選択することがより好ましい。
【0036】
また、第2の情報選択ステップで選択された複数の情報に複数のマルチメディアデータを含む情報が含まれるとき、概要提示情報作成制御ステップは、第2の情報選択ステップで選択されたすべての情報について、情報に含まれる少なくとも1つのマルチメディアデータの概要提示情報が作成されるよう、概要提示情報作成ステップでの概要提示情報作成処理の実行を制御することが好ましい。
【0037】
または、第2の情報選択ステップで選択された複数の情報に複数のマルチメディアデータを含む情報が含まれるとき、概要提示情報作成制御ステップは、第2の情報選択ステップで選択された1つの情報について、1つの情報に含まれるすべてのマルチメディアデータの概要提示情報が作成された後に、次の情報に含まれるマルチメディアデータの概要提示情報を作成するよう、概要提示情報作成ステップの概要提示情報作成処理の実行を制御することが好ましい。
【0038】
また、情報出力方法は、格納ステップから削除対象である概要提示情報を選択する削除概要提示情報選択ステップと、選択された概要提示情報を削除する削除ステップとをさらに備えることが好ましい。
【0039】
さらに、削除概要提示情報選択ステップは、マルチメディアデータの属性に基づいて削除対象の概要提示情報を選択することがより好ましい。
【0040】
または、削除概要提示情報選択ステップは、概要提示情報のデータサイズに基づいて削除対象の概要提示情報を選択することが好ましい。
【0041】
または、削除概要提示情報選択ステップは、概要提示情報作成ステップでの概要提示情報作成処理のコストに基づいて削除対象の概要提示情報を選択することが好ましい。
【0042】
または、削除概要提示情報選択ステップは、提示ステップでの概要提示情報の提示状況に基づいて削除対象の概要提示情報を選択することが好ましい。
【0043】
また、削除概要提示情報選択ステップが削除対象の概要提示情報を複数選択したとき、削除ステップは、1つの情報に含まれる少なくとも1つのマルチメディアデータの概要提示情報を残すように削除対象の概要提示情報のうちの所定の概要提示情報を削除することが好ましい。
【0044】
また、情報出力方法は、提示ステップでの概要提示情報の提示のタイミングを制御する概要提示情報提示制御ステップをさらに備えることが好ましい。
【0045】
さらに、概要提示情報提示制御ステップは、第1の情報選択ステップで情報が選択された後、所定時間経過後に概要提示情報を提示するよう、提示ステップでの概要提示情報の提示のタイミングを制御することがより好ましい。
【0046】
また、マルチメディアデータは画像を含むデータであって、概要提示情報作成ステップは、画像の少なくとも一部を用いて概要提示情報を作成することが好ましい。
【0047】
本発明のさらに他の局面に従うと、情報出力プログラムは、マルチメディアデータを含む情報の出力処理をコンピュータに実行させる情報出力プログラムであって、情報を選択する第1の情報選択ステップと、第1の情報選択ステップで選択された情報に含まれる複数のマルチメディアデータの概要提示情報を並列的に作成する概要提示情報作成ステップと、作成された概要提示情報を提示する提示ステップとを実行させ、提示ステップは、概要提示情報作成処理の完了前において、概要提示情報に替わる代替情報として、概要提示情報とは異なる情報、または概要提示情報作成ステップで作成途中の概要提示情報を、各々の概要提示情報作成処理に応じて段階的に提示する。
【0049】
また、情報出力プログラムは、概要提示情報作成ステップでの概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップと、概要提示情報を格納装置に格納する格納ステップをさらに実行させ、概要提示情報が格納装置に格納されている場合には、概要提示情報作成制御ステップは、概要提示情報作成ステップにおいて概要提示情報作成処理を実行しないよう制御し、提示ステップは、格納装置に格納されている概要提示情報を提示することが好ましい。
【0050】
また、情報出力プログラムは、第1の情報選択ステップで選択された情報に基づいて、概要提示情報作成処理を行なう対象とする情報を選択する第2の情報選択ステップをさらに実行させ、概要提示情報作成ステップは、第2の情報選択ステップで選択された情報に含まれるマルチメディアデータの概要提示情報を作成して格納装置に格納することがより好ましい
【0051】
本発明のさらに他の局面に従うと、記録媒体はマルチメディアデータを含む情報の出力処理をコンピュータに実行させる情報出力プログラムを記録するコンピュータ読取可能な記録媒体であって、上述の情報出力プログラムを記録する。
【0052】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0053】
本実施の形態においては、本発明にかかる情報出力装置を携帯電話100で実現するものとし、取扱うデータを文書データであるものとして説明するが、情報出力装置の具体例は携帯電話に限定されずパーソナルコンピュータやPDA(Personal Digital Assistants)、テレビジョン受像機などのその他の装置であってもよく、また取扱うデータも文書データに限定されず、音楽データ、ビデオデータ、テレビ番組データなどその他のデータであってもよい。なお、以降の記載において、概要を提示するための画像であるサムネイル画像を、単にサムネイルと略して記載する。
【0054】
[第1の実施の形態]
図1は、第1の実施の形態にかかる携帯電話100のハードウェア構成の具体例を示すブロック図である。図1を参照して、本実施の形態にかかる携帯電話100は、CPU(Central Processing Unit)等から構成されて、この携帯電話100全体を制御する制御部12と、他の装置と通信するための通信部11と、ROM(Read Only Memory)やRAM(Random Access Memory)などから構成されて、制御部12において実行されるプログラムや、そのプログラムの中間データおよび他のコンピュータから受信したデータ等を記憶する記憶部13と、ユーザインタフェースである入出力部14とを含んで構成される。
【0055】
さらに上述の入出力部14は、「1」、「2」などの数字ボタンおよび「R」、「L」などの方向ボタンなどを含む操作部141と、ユーザに情報を表示するLCD(Liquid Crystal Display)などの表示部142と、音声を入力するマイクロフォンなどの音声入力部143と、音声を出力するスピーカなどの音声出力部144と、被写体を撮影して撮影画像を取得するカメラなどの画像取得部145と含んで構成される。
【0056】
なお、図1に示されるハードウェア構成は、一般的な携帯電話のハードウェア構成であって、本発明にかかる情報出力装置のハードウェア構成は、図1に示されるハードウェア構成に限定されるものではない。
【0057】
次に、図2に、第1の実施の形態にかかる携帯電話100において表示する文書を選択して表示する機能、および該文書の概要を提示する情報であるサムネイルに関するサムネイルデータを作成する機能にかかる機能構成の具体例を示す。図2を参照して、本実施の形態にかかる携帯電話100は、操作受付部101、文書選択部102、文書保存部103、文書解析部104、表示管理部105、サムネイル処理制御部106、サムネイル作成部107、およびサムネイル一時保存部108を含んで構成される。これらの機能は、制御部12が、記憶部13に記憶されるプログラムを読出し、そのプログラムを実行して図1に示されるハードウェア構成の各部を制御することによって発揮される。
【0058】
操作受付部101は操作部141や表示部142などから構成され、ユーザからの操作入力を受付ける。表示部142は表示可能な文書を識別する属性(ファイル名、差出人、タイトルなど)を一覧表示されている画面を出力し、ユーザは、操作部141を用いて、任意の1つの文書にカーソルを合わせるカーソル移動操作と、該カーソル移動によってカーソルが当たって選択されている文書を開く(内容の表示を指示する)操作と、文書表示装置100全体の動作設定変更操作とを行なう。そして操作受付部101は、ユーザから受付けた操作情報を文書選択部102に出力する。
【0059】
文書選択部102は、操作受付部101から入力された操作情報に基づいて、表示処理およびサムネイル作成処理の対象となる文書を特定し、文書保存部103より対象となる文書データを読込む。文書保存部103は記憶部13の所定領域から構成されて、文書データを記憶する。そして文書選択部102は、文書保存部103から読込んだ文書データを文書解析部104に出力する。
【0060】
文書解析部104は文書選択部102から入力された文書データを解析し、解析結果を表示管理部105に出力する。また、文書データにメディアデータが添付されていることが解析され、このメディアデータのサムネイルも表示する場合には、文書解析部104は、解析結果に基づいてサムネイルデータの取得要求をサムネイル処理制御部106に出力する。
【0061】
サムネイル処理制御部106は、文書解析部104から受取ったメディアデータのサムネイルデータの取得要求に基づいて、文書保存部103に格納されている文書データを参照してサムネイル一時保存部108に該当するサムネイルデータを検索する。サムネイル一時保存部108から該当するサムネイルデータが抽出された場合には、そのサムネイルデータの存在場所を示す情報を文書解析部104に出力する。一方、該当するサムネイルデータがサムネイル一時保存部108に存在しなければ、サムネイル作成部107にサムネイル作成要求を出力する。
【0062】
サムネイル作成部107は、サムネイル処理制御部106から受取ったサムネイル作成要求に基づいてサムネイルデータを作成し、完成したサムネイルデータを一時保存部108に出力して保存する。サムネイル一時保存部108は記憶部13の所定領域から構成されて、サムネイル作成の作業領域となって作成の途中段階のデータである中途データを保持すると共に、完成したサムネイルデータを一時的に保持する。また、完成したサムネイルデータは、サムネイル一時保存部108から文書保存部103に渡され、文書保存部103において文書データと共に保存されてもよい。そして、次回、該文書がユーザ操作によって開かれたときには、サムネイル一時保存部108に保存されているサムネイルデータが用いられる。
【0063】
サムネイル作成部107はサムネイルデータの存在場所を示す情報をサムネイル処理制御部106に出力し、サムネイル処理制御部106はその情報を文書解析部104に出力する。また、サムネイルデータ作成中には、サムネイル作成部107はその中途データの存在場所を示す情報をサムネイル処理制御部106に出力し、サムネイル処理制御部106はその情報を文書解析部104に出力する。
【0064】
文書解析部104は、文書データの解析結果と共に、サムネイル処理制御部106から入力されたサムネイルデータ、または中途データの存在場所を示す情報を表示管理部105に出力する。
【0065】
表示管理部105は表示部142における表示を管理し、文書解析部104から入力された解析結果を表示部142に出力する。また、文書解析部104からサムネイルデータの存在場所を示す情報が入力された場合には、その情報にしたがってサムネイルデータ、または中途データを読込み、解析結果と共にサムネイルを表示部142に出力する。
【0066】
次に、本実施の形態にかかる携帯電話100が取扱う文書データがメールデータであり、メールに添付されたメディアファイルのサムネイルを取扱う場合について説明する。
【0067】
メールに添付されるメディアファイルとしては、テキスト、静止画、アニメーション、動画、音声、音楽、およびSVG(Scalable Vector Graphics)などのベクター・グラフィックスデータ、ならびにこれらのデータをXML(Extensible Markup Language)に準拠した形式もしくは他の任意の形式で1つに統合したデータなどを想定している。
【0068】
さらに、これらのメディアファイルのサムネイルの主な形態としては、メディアファイルが静止画であればピクセルサイズを縮小した画像データ、メディアファイルがアニメーションや動画であれば、再生時間内の任意の再生時刻において表示されるデータを静止画として抽出し、このピクセルサイズを縮小した画像データ、メディアファイルがテキスト、音声、および音楽であれば、ファイルフォーマットを示す拡張子などの情報、またはそれをアイコン画像として表現した画像データ、メディアファイルがベクター・グラフィックスデータであれば、データ内の各ベクトルの大きさを縮めたベクター・グラフィックスデータ、などを想定している。
【0069】
また、アニメーションや動画のように、自身が時間軸に沿って配置される複数の表示データから構成されるメディアについては、再生時間内の任意の複数の再生時刻における表示データを静止画として抽出し、これを縮小することで複数のサムネイルとしてもよい。
【0070】
また、テキスト、静止画、アニメーション、動画、音声、音楽、およびベクター・グラフィックスデータなどのうち1つ以上を2次元座標にレイアウトし(これをスライドと呼ぶことにする)、この、レイアウト情報を含むスライド1つ以上から構成される文書、たとえば複数のスライドを時間的にあるいはユーザ操作により切替えて表示していくプレゼンテーション文書などについては、各スライドのピクセルサイズを縮小したものをサムネイルとしてもよい。
【0071】
また、上述のプレゼンテーション文書が含むテキスト、静止画、アニメーション、動画、音声、音楽、およびベクター・グラフィックスデータなどの個々のメディアデータに対しても、プレゼンテーション文書のサムネイルとは別に、前述のようにサムネイルデータを作成し表示してもよい。
【0072】
以下の例では、メールに添付されたファイルは静止画データであり、この静止画データのピクセルサイズを縮小したものをサムネイルとして取扱う場合について説明しているが、もちろん、サムネイルの形態としては上記に挙げた各種形態であっても構わない。
【0073】
始めに、本実施の形態にかかる携帯電話100が取扱う文書データであるメールデータのデータ構成について図3を用いて説明する。図3を参照して、メールデータは、該メールが送信された日時または該メールデータが保存された日時を示す整数型の情報(フィールド名「time」)と、該メールの送信者のアドレスを示す文字列型の情報(フィールド名「from」)と、該メールの宛先を示す文字列型の情報(フィールド名「to」)と、該メールの同報宛先を示す文字列型の情報(フィールド名「cc」)と、該メールの件名を示す文字列型の情報(フィールド名「subject」)と、該メールの本文を示す文字列型の情報(フィールド名「msg_text」)と、該メールの総容量を示す整数型の情報(フィールド名「msg_size」)と、該メールに添付されたメディアファイルが格納される文書保存部103へのアクセス先を示すポインタ型の情報(フィールド名「attach_data」)とを含んで構成される。
【0074】
図3に具体例が示されるメールデータのデータ構成は文書保存部103に保存されるメールデータのデータ構成であって、上述の各情報のうちフィールド名「time」〜フィールド名「msg_size」の情報は、文書解析部104が通信部11が受信したメールデータを解析してメールデータから取得する情報である。また、フィールド名「attach_data」の情報は、通信部11が受信したメールに添付されたメディアファイルが文書保存部103に格納され、文書解析部104がその格納先の情報を書込むことでメールデータに含まれる情報である。文書保存部103でのメールデータの解析は、後に説明するメールの表示処理を行なう際にその都度行なわれてもよいし、通信部11で受信したときに行なわれて、データ構造に展開されて文書保存部103に保存してもよい。
【0075】
さらに、メールに添付されるメディアファイルのデータ構成について図4を用いて説明する。図4を参照して、メディアファイルは、該メディアファイルの名前を示す文字列型の情報(フィールド名「name」)と、該メディアファイルの種類を示す文字列型の情報(フィールド名「type」)と、該メディアファイルが作成された日時を示す整数型の情報(フィールド名「time」)と、該メディアファイルの本体情報が格納される記憶部13上の本体情報の先頭へのアクセス先を示す整数型の情報(フィールド名「address」)と、該メディアファイルのサムネイルデータが格納されるサムネイル一時保存部108または文書保存部103へのアクセス先を示すポインタ型の情報(フィールド名「thumb_data」)とを含んで構成される。
【0076】
図4にデータ構成の具体例が示されるメディアファイルのデータ構成は文書保存部103に保存されるメディアファイルのデータであって、上述の各情報のうちフィールド名「name」〜フィールド名「size」は、文書解析部104が通信部11が受信したメールデータに添付されるメディアファイルを解析してメディアファイルから取得する情報である。また、フィールド名「address」の情報は、通信部11が受信したメールに添付されたメディアファイルの本体情報が文書保存部103に格納され、文書解析部104がその格納先の情報を書込むことでメディアデータに含まれる情報である。また、フィールド名「thumb_data」の情報は、サムネイル作成部107から作成したサムネイルデータまたは中途データの存在場所を示す情報を受取った文書解析部104がその存在場所の情報を更新することでメディアデータに含まれる情報である
さらに、メディアファイルをの概要を提示するサムネイルを表わすデータであるサムネイルデータのデータ構成について、図5を用いて説明する。図5を参照して、サムネイルデータは、該メディアファイルについての表示管理部105で取得可能なサムネイルの有/無および完成/未完成を示す整数型の情報(フィールド名「complete」)であって具体的にサムネイルなしを示す「−1」とサムネイル完成を示す「0」と中途データありを示す「1」とのいずれかである情報と、該サムネイルの作成処理状態を示す整数型の情報(フィールド名「status」)であって具体的にサムネイル作成処理完了または中止を示す「0」と、サムネイル作成処理進行中を示す「1」とのいずれかである情報と、該サムネイルのサイズを示す整数型の情報(フィールド名「size」)と、画像データである該サムネイルの本体情報が格納されるサムネイル一時保存部108または文書保存部103上の本体情報の先頭へのアクセス先を示す整数型の情報(フィールド名「address」)と、該サムネイルを作成するサムネイル作成処理が完了した日時を示す整数型の情報(フィールド名「time」)と、該サムネイルデータに最終にアクセスした日時を示す整数型の情報(フィールド名「lastaccess」)と、該サムネイルデータにアクセスした回数を示す整数型の情報(フィールド名「count」)と、該サムネイルデータの重要度を示す整数型の情報(フィールド名「priority」)とを含んで構成される。
【0077】
図5に具体例が示されるサムネイルデータのデータ構成は、サムネイル一時保存部108に保存されるサムネイルデータのデータ構成であって、上述の各情報は、サムネイル作成部107でサムネイルデータ作成時または作成完了時またはアクセス時にサムネイル処理制御部106がサムネイル作成部107から取得して書込むことでサムネイルデータに含まれる情報である。
【0078】
次に、第1の実施の形態にかかる携帯電話100のメールアプリケーションにおいて、ユーザがメールを開く操作を行なったときに実行される処理について、図6〜図8を用いて説明する。図6および図7は、本実施の形態にかかる携帯電話100でメールを開封する処理を示すフローチャートであって、図8は、表示部142に表示される画面遷移の具体例を示す図である。図6および図7のフローチャートに示される処理は、携帯電話100の制御部12が記憶部13に記憶されるメールアプリケーションを実行するためのプログラムを読出して実行し、図2に示される各機能を発揮させることで実現される。
【0079】
始めに、メールアプリケーションの実行を開始すると、表示管理部105において文書保存部103に保存されているメールファイルの一覧を取得し、表示部142に受信箱のメール一覧を表示する。メールアプリケーションにおける、受信箱のメール一覧表示画面の具体例は図8(a)に示される。図8(a)を参照して、受信箱のメール一覧表示画面においては、受信箱(文書保存部103)に入っているメールの送信元メールアドレスおよびメールの件名がリスト表示されており、カーソルが当たって選択されているメール(図8(a)では、件名がSucject1のメール)がハイライト表示される。操作部141を構成する上下キーを押して操作されることによりカーソルが移動し、それに伴ってハイライト表示が移動する。
【0080】
図8(a)に示される受信箱のメール一覧表示画面においてカーソルが当たって選択されているメールを開く操作(たとえば操作部141を構成する決定キーを押す操作)が行なわれ、文書選択部102が操作受付部101から操作情報を受取ると(S101でYES)、文書解析部104において該メールデータが解析される(S103)。ステップS103で文書解析部104は、メールデータを図3に示されるようなデータ構造に展開し、該メールデータのフィールド名「msg_text」の情報とフィールド名「attach_data」の情報とを参照して、テキストと該メールデータに添付されたメディアファイル(以下において、添付ファイルと略す)とを抽出する。なお、上述のように、メールデータの解析は、開封の要求を受取る以前、たとえばメールを受信した時点で行なわれていてもよい。
【0081】
文書解析部104は、ステップS103での解析結果に基づいて、該メールデータのフィールド名「msg_text」の情報からテキストを取得し、取得されたテキストは表示管理部105によって表示部142に表示される(S105)。
【0082】
さらに、ステップS103での解析の結果、フィールド名「attach_data」の情報が空(NULL)、つまり該メールデータから添付ファイルが抽出されない場合には(S107でYES)、ステップS105のテキスト表示のみ行なって該メールを開封する処理を終了する。
【0083】
一方、ステップS103での解析の結果、フィールド名「attach_data」の情報がある場合、つまり該メールデータから添付ファイルが抽出された場合には(S107でNO)、メールデータのフィールド名「attach_data」の情報からメディアファイルを読出し、添付ファイルを解析する。その結果、メディアファイルのフィールド名「thumb_data」の情報が空(NULL)、つまりサムネイルデータが存在しない場合には(S109でYES)、サムネイル処理制御部106において該添付ファイルのサムネイルデータを作成する(S111)。また、ステップS109での解析の結果、メディアファイルのフィールド名「thumb_data」の情報がある場合、つまりサムネイルデータが存在する場合には(S109でNO)、ステップS111の処理をスキップして、処理を次へ進める。
【0084】
次に、文書解析部104は、メディアファイルのフィールド名「thumb_data」の情報からサムネイルデータを読出し、フィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「0」、つまり作成済みのサムネイルが既に存在していれば(S113でYES)、フィールド名「address」の情報にしたがって該サムネイルを取得して(S115)、表示管理部105においてテキストと共に表示部142に表示する(S117)。ステップS117で表示されるテキストとサムネイルとの表示画面の具体例は図8(b)に示される。ここでは、図8(b)に示されるように、先に抽出されたテキストと共に、ステップS115で取得されたサムネイルが表示される。
【0085】
なお、本実施の形態において作成済みのサムネイルが既に存在している場合としては、すでに以下に説明するサムネイルの作成処理が実行されて作成されたサムネイルデータがサムネイル一時保存部108に保存されている場合や、該添付ファイルがもともと携帯電話100の他の機能やアプリケーションで取扱われたものであって、該機能やアプリケーションによってサムネイルが作成済みである場合(たとえばカメラで撮影した画像ファイルを携帯電話100内の保存領域に保存する際にサムネイルデータも作成され保存されている場合など)や、サムネイル自身がメールに添付されて送信されてきた場合などが考えられる。
【0086】
そして、サムネイル処理制御部106は、サムネイルデータのフィールド名「count」の情報であるアクセス回数を1インクリメントし(S119)、フィールド名「lastaccess」の情報を現在時刻に更新する(S121)。
【0087】
一方、ステップS113での解析の結果、フィールド名「complete」の情報が「0」でない、つまり作成済みのサムネイルが存在しない場合(S113でNO)、図7を参照して、文書解析部104はさらにフィールド名「status」の情報を解析する。その結果、フィールド名「status」の情報が「0」、つまりサムネイル作成処理が開始していなければ(S125でNO)、サムネイル処理制御部106においてサムネイル作成部107に対してサムネイルの作成を要求し、サムネイル作成処理を開始する(S127)。そして、サムネイル処理制御部106は、フィールド名「status」の情報を「1」に更新する(S129)。なお、その場合、図8(b)に示されるテキストの表示画面において、添付ファイルが存在する旨や、または添付されているファイルの名前や数などを、テキストと共に表示することが好ましい。
【0088】
サムネイル作成処理が完了しない間(S131でNO)、文書解析部104はサムネイルデータのフィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「−1」、つまり表示可能な中途データが存在していない場合(S135でNO)、表示可能なデータが存在するまで待機する。そして、サムネイル作成処理が完了すれば(S131でYES)、サムネイル処理制御部106は、フィールド名「status」の情報を「0」に、フィールド名「complete」の情報を「0」に更新する(S133)。さらに、表示管理部105においてテキストと共に表示部142に表示する(S117)。ステップS117で表示されるテキストとサムネイルとの表示画面の具体例は図8(b)および図8(c)に示される。図8(b)では、先に抽出されたテキストと共に、ステップS115で取得されたサムネイルが表示される。または、ステップS125〜S137で複数の添付ファイルのサムネイルデータが順次作成されている場合には、図8(c)に示されるように作成された順に表示される。図8(b)および図8(c)では、メールデータ「subject1」の添付ファイル「Nature.jpg」および「Duck.png」のサムネイルデータが添付順に作成され、添付順にサムネイルが表示されることを示している。
【0089】
なお、図8(b)および図8(c)は、メール内のテキストと添付ファイルのサムネイルとを同じ画面内に表示する具体例であるが、添付ファイルのサムネイルはテキストとは別の画面に表示するのでもよい。たとえば、図8(a)でハイライト表示されているメールが開かれると、解析処理の結果、図8(d)に示されるようにまずテキストのみを表示し、この画面から、たとえば図8(e)に示されるように「Options」を選択し、さらに「Attached files」を選択するようなユーザのキー操作を受付けて、図8(f)に示されるようにテキストとは別画面において添付ファイルのサムネイルをリスト表示するようにしてもよい。この場合、テキストが表示される画面(図8(d))において、添付ファイルが存在することを示すアイコン画像や、添付ファイルの数などを表示することにすれば、ユーザの利便性が高まりより好ましい。
【0090】
さらに、図8(b),図8(c),図8(f)に示されるように、添付ファイルのサムネイル表示画面において、サムネイルだけでなく、個々の添付ファイルの名前やサイズ、作成された日時、ファイル種別などの属性を、テキストやアイコンで同時に表示してもよい。これにより、サムネイルを表示中の段階であっても、ファイルの名前からある程度ファイルの内容が推測できたり、ファイルのサイズ表記を見てサムネイルが表示されるまでの時間をある程度推測できたりし、ユーザの利便性が高まりより好ましい。
【0091】
このように、添付ファイルの概要提示情報であるサムネイルを一覧表示することによって、ユーザは添付ファイルの内容の概要が把握できるようになり、ユーザにとって有用なデータと不要なデータとの見分けが、実際に添付ファイルを開かなくてもある程度行なえるようになり、特に添付ファイルが複数存在する場合に内容の把握をスムーズに行なえるので便利である。
【0092】
なお、1つのメールに複数のメディアファイルが添付されている場合、図8に示されるように、サムネイル作成処理を添付されている順番で開始してもよいし、添付されている順番とは関係のない順序で開始してもよい。サムネイル作成処理の開始順の他の具体例としては、ファイルサイズに基づいた順が挙げられる。その場合の表示部142に表示される画面遷移の具体例を図9に示す。
【0093】
図9を参照して、サムネイルデータを作成すべき添付ファイル「Roulette.jpg」、「Duck.jpg」、「Earth.gif」、および「Weathercook.jpg」が、この順にメールに添付されているものとする。このとき、ステップS127で、文書解析部104からサムネイルデータの取得要求を受取ったサムネイル処理制御部106は、上述の4個の添付ファイルのサイズを比較して、まず最もサイズの小さい「Earth.gif」についてサムネイル作成部107に対してサムネイルデータの作成を要求する。そして、作成された「Earth.gif」のサムネイルがまず表示される。図9(b)は、最もサイズの小さい添付ファイルのサムネイルのみが表示された画面表示の具体例を示す図である。
【0094】
次に、2番目にサイズの小さい「Roulette.jpg」についてサムネイル作成部107に対してサムネイルデータの作成を要求する。そして、作成された「Roulette.jpg」のサムネイルがまず表示される。図9(c)は、最もサイズの小さい添付ファイルのサムネイルのみが表示された画面表示の具体例を示す図である。このようにサイズの小さい添付ファイルから順にサムネイルデータが作成されてサムネイルが表示され、図9(d)に示されるように、最終的にすべての添付ファイルのサムネイルが表示される。
【0095】
通常、ファイルサイズの小さな添付ファイルほど、サムネイル作成に要する時間は短くなると考えられるため、上記の方法を採用することで、より早い段階で完成したサムネイルを表示することができ、ユーザのストレスを軽減することができる。
【0096】
さらに、1つのメールに複数のメディアファイルが添付されている場合、画面上にサムネイルを並べて表示する際の順序関係は、図8や図9に示されるように添付の順序と同じにしてもよいし、異なっていてもよい。たとえば、サムネイル作成処理が完了したものから順にサムネイルを並べて表示することにしてもよい。
【0097】
これにより、画面内に完成済みのサムネイルをより多く、サムネイルが未完成であるファイルをより少なく表示することが可能になる。
【0098】
さらに、1つのメールに複数のメディアファイルが添付されている場合、各ファイルのサムネイル作成処理の進行に伴ってサムネイルのリスト表示の形態を変化させてもよい。図10は、その場合の表示部142に表示される画面遷移の具体例を示す図である。
【0099】
図10を参照して、サムネイルデータを作成すべき添付ファイル「001.jpg」、「002.jpg」、「003.jpg」、および「004.jpg」のサムネイルデータがこの順に作成され、作成された順にサムネイルを表示するものとする。このとき、ステップS117で、サムネイルデータのフィールド名「address」の情報にしたがってサムネイルデータを取得した表示管理部105は、「001.jpg」のサムネイルデータが完成した時点で、サムネイルをリスト表示する領域全体に該サムネイルを大きく表示し(図10(a))、続いて「002.jpg」のサムネイルデータが完成した時点で、当該領域に「001.jpg」のサムネイルと「002.jpg」のサムネイルとを並べて表示し(図10(b))、続いて「003.jpg」のサムネイルデータが完成した時点で、当該領域に「001.jpg」のサムネイルと「002.jpg」のサムネイルと「003.jpg」のサムネイルとを並べて表示し(図10(c))、最後に「004.jpg」のサムネイルデータが完成した時点で、当該領域に「001.jpg」のサムネイルと「002.jpg」のサムネイルと「003.jpg」のサムネイルと「004.jpg」のサムネイルとを並べて表示する(図10(d))よう、表示部142における表示を制御する。
【0100】
上記の表示方法を採用することにより、サムネイルが未完成であることによる表示の空白領域をより小さくすることができ、また表示形態が順次変化するため、表示完了までの時間、ユーザを飽きさせないという効果が期待できる。
【0101】
なお、上記の表示方法を採用する場合、現在未完成のサムネイルがあと何枚あるのか、サムネイル作成処理は全体の何割くらい進んでいるのかが一目ではわかりにくくなる恐れがあるので、進捗度合いを示すテキスト(たとえば、全4枚のうち2枚まで完成し、表示できている状態では「2/4」と表示)や、プログレスバーなどのグラフィックを、サムネイルリストと共に表示させることが好ましい。図10に示される表示1001はプログレスバーを用いた表示例である。全部で4枚作成するサムネイルのうち1枚が作成済み、表示されている図10(a)の状態ではバーの4分の1程度、同様に図10(b)では半分程度、図10(c)では4分の3程度が反転表示される。4枚全てのサムネイルが完成した図10(d)ではプログレスバーの役割は終えたので非表示にしている。
【0102】
携帯電話100でメールを開封する処理の説明に戻って、ステップS125での解析の結果、フィールド名「status」の情報が「1」、つまりサムネイル作成処理が進行中であって(S125でYES)、その作成が完了していない場合(S131でNO)、文書解析部104はサムネイルデータのフィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「1」、つまり表示可能な中途データが存在していれば(S135でYES)、表示管理部105において中途データを表示部142に表示する(S137)。
【0103】
ステップS137で表示される中途データの表示画面の第1の具体例を図11に示す。第1の具体例では、ステップS127において、サムネイル作成部107は画像ファイルのサムネイル作成処理を画像の左上点から右下点に向かって実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部108に保存する。表示管理部105は、ステップS137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する。具体的には、図11を参照して、表示部142に表示されるサムネイルのうち1番目のサムネイルである左上のサムネイルに注目すると、図11(a)〜図11(d)にかけて、左上点から右下点に向かって段階的に表示される。同時に、2番目のサムネイルである右上のサムネイルも、1番目のサムネイルの表示に遅れて、左上点から右下点に向かって段階的に表示される。
【0104】
また、ステップS137で表示される中途データの表示画面の第2の具体例を図12に示す。第2の具体例でも第1の具体例と同様に、ステップS127において、サムネイル作成部107は画像ファイルのサムネイル作成処理を画像の左上点から右下点に向かって実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部108に保存する。第2の具体例では、表示管理部105は、ステップS137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを最終的なサムネイルのピクセルサイズに拡大して表示する。具体的には、図12を参照して、表示部142に表示されるサムネイルのうち1番目のサムネイルである左上のサムネイルに注目すると、図12(a)〜図12(d)にかけて、左上点から右下点に向かって段階的に作成されるサムネイルが、最終的なサムネイルのピクセルサイズに拡大されて表示される。
【0105】
なお、サムネイル作成部107でのサムネイルの作成順は、画像の左上点から右下点に向かう順に限定されず、他の順で作成されてもよい。たとえば、画像中央から周辺部に向かって作成されてもよく、その場合のステップS137で表示される中途データの表示画面の第3の具体例を図13に示す。第3の具体例でも第1の具体例と同様に、ステップS127において、サムネイル作成部107は画像ファイルのサムネイル作成処理を画像の中央から周辺部に向かって実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部108に保存する。表示管理部105は、ステップS137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する。具体的には、図13を参照して、表示部142に表示されるサムネイルのうち1番目のサムネイルである左上のサムネイルに注目すると、図13(a)〜図13(d)にかけて、中央から周辺部に向かって段階的に表示される。
【0106】
また、上述と同様に、ステップS137で、表示管理部105は、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを最終的なサムネイルのピクセルサイズに拡大して表示してもよい。その場合のステップS137で表示される中途データの表示画面の第4の具体例を図14に示す。図14を参照して、表示部142に表示されるサムネイルのうち1番目のサムネイルである左上のサムネイルに注目すると、図14(a)〜図14(c)にかけて、中央から周辺部に向かって段階的に作成されるサムネイルが、最終的なサムネイルのピクセルサイズに拡大されて表示される。
【0107】
また、ステップS137で表示される中途データの表示画面の第5の具体例を図15に示す。第5の具体例では、ステップS127において、サムネイル作成部107は画像ファイルのサムネイル作成処理を画像の各ブロックの低周波成分から高周波成分に向かって実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部108に保存する。表示管理部105は、ステップS137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する(プログレッシブ表示)。具体的には、図15を参照して、図15(a)〜図15(d)にかけて、サムネイルが画像の各ブロックの低周波成分から高周波成分に向かって段階的に表示される。
【0108】
また、ステップS137で表示される中途データの表示画面の第6の具体例を図16に示す。第6の具体例では、ステップS127において、サムネイル作成部107は画像ファイルのサムネイル作成処理を、画像の上部から下部へ向かって実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部108に保存する。表示管理部105は、ステップS137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する。具体的には、図16を参照して、表示部142に表示されるサムネイルのうち1番目のサムネイルである左上のサムネイルに注目すると、図16(a)〜図16(d)にかけて、上部から下部に向かって段階的に表示される。
【0109】
以上の第1〜第6の具体例では、ステップS137でサムネイル作成処理途中の画像データである中途データを表示するものとして説明したが、元の画像ファイルに拠らない他の画像データを代替データとして表示してもよい。この場合、サムネイル作成部107は、サムネイル作成処理が完了するまでの間、予め記憶部13に格納されている画像データ、または生成した画像データを代替データとして設定する。なお、1つのサムネイルに対して代替データが複数設定され、または生成され、サムネイル作成処理が完了するまでの間に何度か切替わるようにしてもよい。
【0110】
ステップS137で代替データが表示される場合の代替データの表示画面の具体例を図17に示す。この場合、ステップS127において、サムネイル作成部107はサムネイル作成処理が完了するまでの間、サムネイルに替えて代替データを設定または生成する。そして、表示管理部105は、ステップS137で、表示画面のサムネイルを表示する領域に、代替データを表示する。具体的には、図17を参照して、表示部142に表示されるサムネイルのうち1番目のサムネイルである左上のサムネイルに注目すると、サムネイル作成処理が完了していない図17(a)では代替データである画像が表示され、サムネイル作成処理が完了した図17(b)でサムネイルが表示される。同様に、2番目のサムネイルである右上のサムネイルに注目すると、サムネイル作成処理が完了していない図17(a),図17(b)では代替データである画像が表示され、サムネイル作成処理が完了した図17(c)でサムネイルが表示される。
【0111】
ステップS137で表示されるサムネイルの他の具体例としては、元の画像ファイル内の1点以上のピクセルのRGB値の平均値で塗りつぶした画像データであってもよい。または、元の画像ファイルのピクセルサイズを縮小した画像データ、色数を減らした画像データであってもよい。
【0112】
以上のように、本発明にかかる情報出力装置である携帯電話100では添付ファイルのサムネイルを一覧表示することによって、ユーザは、添付ファイルの内容の概要が把握できるようになり、ユーザにとって有用なデータと不要なデータとの見分けが、実際に添付ファイルを開かなくてもある程度行なえるようになって、特に添付ファイルが複数存在する場合に内容の把握をスムーズに行なえるので便利である。
【0113】
さらに、本発明にかかる情報出力装置である携帯電話100でサムネイル作成処理の途中経過である中間データを段階的に表示することにすれば、各サムネイルの内容を少しでも早く見たいというユーザの欲求に応えることができる。
【0114】
さらに、本発明にかかる情報出力装置である携帯電話100では代替データを用意することにより、ユーザがあるメールを開いたときに、もし表示すべきサムネイルがなかったとしても、代替となるデータを表示できるので、ユーザの利便性が向上する。
【0115】
なお、上述の実施の形態においては、サムネイルまたは代替データをメールを受信した携帯電話100にて作成していたが、サムネイルまたは代替データを、送信側の端末装置またはメール配送を中継するサーバにて作成する構成にしてもよい。
【0116】
ただし、送信するメールにサムネイルまたは代替データを含めると、受信側の携帯電話100の送受信可能データサイズを超過して送受信不能になってしまったり、データ量の増加により送信者、受信者への課金が増えてしまったりする問題が生じかねないので、送信データに含まれるサムネイルまたは代替データは、送信可能データサイズを超過しない範囲、また、送信者や受信者への課金が増えない範囲のデータであることが好ましい。
【0117】
また、メールの送信端末と受信端末とで、所定の記号や番号を指定することによって双方が同一のアイコン画像など代替データとなるデータを参照できる場合においては、メール送信時に記号や番号を一緒に送ることによって、アイコン画像などを代替データとして扱うことも可能である。これにより代替データのための送信データの増分を最小限に抑えることができる。
【0118】
ところで、本実施の形態にかかる携帯電話100は上述の処理を実行することで作成されたサムネイルデータを記憶部13の所定領域であるサムネイル一時保存部108に保存するものとするが、上述の処理を繰返すうちに、サムネイルデータを保存するための領域がいっぱいになる場合がある。その場合、サムネイル一時保存部108は、保存されているサムネイルデータに付随する属性を参照して、適宜削除または他の保存領域(たとえば文書保存部103)に移動することが好ましい。そこで、本実施の形態にかかる携帯電話100での、サムネイルデータの削除または移動処理について図18のフローチャートを用いて説明する。図18のフローチャートに示される処理もまた、携帯電話100の制御部12が記憶部13に記憶されるメールアプリケーションを実行するためのプログラムを読出して実行し、図2に示される各機能を発揮させることで実現される。
【0119】
図18を参照して、はじめに、たとえば上述のステップS127の処理を実行する際など、新たにサムネイルを作成する必要が生じた場合(S501でYES)、サムネイル処理制御部106はサムネイル一時保存部108に保存されている各サムネイルデータの図4に示される構造体を走査し、フィールド名「size」の情報である各サムネイルのデータサイズの合計を算出する(S503)。
【0120】
なお、ここでのサムネイルデータの削除または移動処理を開始するトリガとなる条件は、上述の新たにサムネイルを作成する必要が生じた場合に限定されず、たとえば、所定周期のタイミングや、携帯電話100の電源が投入されたときや、使用可能メモリが所定量以下になったときや、その他所定のタイミングであってもよい。
【0121】
次に、サムネイル処理制御部106は、算出された合計値と予め設定されている所定値とを比較して、合計値が所定値を越えていない場合には(S505でNO)、サムネイルデータの削除または移動は不要であると判断して、本処理を終了する。ここでの「所定値」は、予め携帯電話100に固有の値として設定されて記憶部13に格納されていてもよいし、ユーザ操作で設定されるものであってもよい。
【0122】
一方、ステップS505での比較において、合計値が所定値を越えている場合には(S505でYES)、サムネイルデータの削除または移動を実行するために以降の処理を実行して削除または移動するサムネイルデータを、マルチメディアデータの属性による条件に照らし合わせて抽出する。
【0123】
第1の条件として、まず、サムネイルデータのフィールド名「complete」の情報を参照して、フィールド名「complete」の情報が「0」であるサムネイルデータ、つまり、サムネイル作成処理が完了しているサムネイルデータを抽出する(S507)。
【0124】
次に、第2の条件として、ステップS507で抽出されたサムネイルデータについてフィールド名「priority」の情報を参照して、フィールド名「priority」の情報である重要度が予め設定されている所定値以下のサムネイルデータ、つまり、所定の重要度よりも重要度の低いマルチメディアデータのサムネイルデータを抽出する(S509)。ここでの「所定値」もまた、予め携帯電話100に固有の値として設定されて記憶部13に格納されていてもよいし、ユーザ操作で設定されるものであってもよい。
【0125】
次に、第3の条件として、ステップS509で抽出されたサムネイルデータについてフィールド名「lastaccess」の情報を参照し該サムネイルの表示状況に応じて、フィールド名「lastaccess」の情報である値が最も小さいサムネイルデータ、つまり、該マルチメディアデータへの最終のアクセスが最も古いサムネイルデータを抽出する(S511)。
【0126】
そして、サムネイル処理制御部106は、ステップS511で抽出されたサムネイルデータをサムネイル一時保存部108から削除または移動する(S513)。
【0127】
その後、処理を再度ステップS503に戻して、サムネイル一時保存部108に保存されているサムネイルデータのデータサイズの合計が所定値を越えないようになるまで(S505でNO)、上述の以降の処理を繰返す。
【0128】
なお、削除または移動するサムネイルデータの条件は上に挙げた第1〜第3の条件に限定されず、たとえば、作成日時の古いサムネイルから順に削除または移動する、データサイズの大きなサムネイルから順に削除または移動する、作成に要する時間、消費電力などを勘案し、再びサムネイル作成するための処理量や消費電力量、またはそれを導出する符号化種別等の属性などのコストが少ないものから順に削除または移動する、などのサムネイルデータ自身の属性や、最近表示されていないものから順に削除または移動する、表示頻度が低いものから順に削除または移動する、などのサムネイルの表示状況に応じた条件であってもよい。
【0129】
本実施の形態にかかる携帯電話100が上述のサムネイルデータの削除または移動処理を実行することで、近い将来アクセスされる可能性の高いメールの添付ファイルについてより優先的にサムネイルを保存しておくことができ、ユーザの利便性が向上する。
【0130】
さらに、サムネイル処理制御部106は、サムネイル一時保存部108に複数の削除候補のサムネイルデータがある場合に、1つのメールに添付された複数のファイルのサムネイルデータのすべてを削除しないように、つまり1つのメールについて少なくとも1つの添付ファイルのサムネイルデータを残すように、1つのメールに添付されたファイルのサムネイルデータの中から削除対象を選択するよう制御することも好ましい。このようにすることにより、ユーザがあるメールを開いたときに少なくとも1つのサムネイルは表示できる可能性が高くメールのサムネイル表示が早まり、ユーザの利便性がより向上する。
【0131】
また、サムネイル一時保存部108は、削除候補であるサムネイルデータを削除または移動するのではなく、データサイズを削減する処理を行なうことにしてもよい。たとえば、画像のピクセルサイズを縮小する、画像の色数を減らす、サムネイルをアイコンなどの代替画像に差替える、などである。このようにすることにより、ユーザがあるメールを開いたときに、もし表示すべきサムネイルがなかったとしても、代替となるデータを表示できるので、ユーザの利便性がより向上する。
【0132】
[第2の実施の形態]
第2の実施の形態にかかる携帯電話100のハードウェア構成は、図1に示される第1の実施の形態にかかる携帯電話100のハードウェア構成と同様であるので、ここでの説明を繰返さない。
【0133】
図19に、第2の実施の形態にかかる携帯電話100において表示する文書を選択して表示する機能、および、サムネイルデータを作成する機能にかかる機能構成の具体例を示す。図19を参照して、本実施の形態にかかる携帯電話100は、図2に示される第1の実施の形態にかかる携帯電話100の機能構成に加えて、先行処理管理部109と、電源管理部110と、メモリ管理部111とをさらに含んで構成される。これらの機能もまた、制御部12が、記憶部13に記憶されるプログラムを読出し、そのプログラムを実行して図1に示されるハードウェア構成の各部を制御することによって発揮される。
【0134】
先行処理管理部109は、現在文書リスト画面内でどの文書にカーソルが当たって選択されているか、または、どの文書が開かれているかの情報を、文書選択部102より取得する。
【0135】
電源管理部110は、図1には図示されない電源供給部である電池の残量を監視し、電池残量情報を先行処理管理部109に出力する。また、メモリ管理部111も記憶部13の使用状況を監視し、使用可能メモリ残量情報を先行処理管理部109に出力する。
【0136】
そして、先行処理管理部109は、文書選択部102より取得した情報に基いて、次にユーザ操作によって開かれると想定される文書から順に、文書選択部102に対して選択要求し、文書選択部102に文書解析部104を介してサムネイル処理制御部106に対してサムネイルの要求をさせる。その際、電源管理部110から入力された電池残量情報や、メモリ管理部111から入力された使用可能メモリ残量情報などを参照する。
【0137】
以下、図19に示される他の機能構成については、すでに第1の実施の形態において述べた機能と同様であるため、ここでの説明は繰返さない。また、本実施の形態にかかる携帯電話100が取扱うデータについても第1の実施の形態にかかる携帯電話100の取扱うデータと同様であるため、ここでの説明は繰返さない。
【0138】
次に、第2の実施の形態にかかる携帯電話100のメールアプリケーションにおいて、ユーザがメールの受信箱を開く操作を行なったときに実行される処理について、図20のフローチャートを用いて説明する。図20のフローチャートに示される処理もまた、携帯電話100の制御部12が記憶部13に記憶されるメールアプリケーションを実行するためのプログラムを読出して実行し、図2に示される各機能を発揮させることで実現される。
【0139】
図20を参照して、始めに、メールアプリケーションの実行を開始して、メールの受信箱を開く操作が行なわれて文書選択部102が操作受付部101から操作情報を受取ると(S201でYES)、文書解析部104において文書保存部103に保存されているメールファイルを読込む(S203)。その中に、メールデータを図3に示されるようなデータ構造に展開する処理が行なわれていない未処理のメールデータが含まれる場合(S205でYES)、文書解析部104において該メールデータが解析される(S207)。ステップS207での処理は、第1の実施の形態のステップS103と同様の処理であるため、ここでの詳細な説明は繰返さない。そして文書解析部104は、データ構造体に展開されて解析されたメールデータより送信元メールアドレスなどを取得して、受信箱を表示する(S209)。ここで表示される受信箱の表示画面は、第1の実施の形態において図8(a)に具体例を挙げて説明されたものと同様であるため、ここでの説明は繰返さない。
【0140】
ステップS203で読込まれたメールファイルがすべてデータ構造に展開する処理が行なわれているものである場合には(S205でNO)、先行処理管理部109はそれらのメールデータが読込まれたことを文書選択部102より取得し、それらのメールデータついて先読み処理を実行する(S211)。先読み処理とは、ユーザ操作によって近い将来に内容が表示されるメールに対して添付されているファイルのサムネイル化を先行して行なう処理を言う。ステップS211での先読み処理については、後にサブルーチンを挙げて詳細に説明する。
【0141】
そして、受信箱の表示画面においてカーソルが当たっているメールを開く操作(たとえば操作部141を構成する決定キーを押す操作)が行なわれ、文書選択部102が操作受付部101から操作情報を受取ると(S213でYES)、メール表示処理が実行される(S215)。ステップS215でのメール表示処理についても、後にサブルーチンを挙げて詳細に説明する。
【0142】
以上で第2の実施の形態にかかる携帯電話100での処理を終了する。
次に、上述のステップS211で実行される先読み処理について図21〜図25を用いて説明する。図21および図22は、本実施の形態にかかる携帯電話100での先読み処理を示すフローチャートであって、図23〜図25は、メールデータ、メディアファイル、およびサムネイルデータのデータ構造の具体例を示す図である。
【0143】
図21を参照して、上述のステップS211で先読み処理を実行すると(S301でNO)、先行処理管理部109は、電源管理部110から入力される電池残量情報と、メモリ管理部111から入力される記憶部13の使用状況と、文書選択部102を介して操作受付部101で受付けたユーザ操作についての情報とを参照して、電池残量がしきい値をまたいで変化があるか否か(S303)、使用可能メモリ残量がしきい値をまたいで変化あるか否か(S305)、およびユーザ操作があるか否か(S307)の各条件について、該当するか否かを判定する。ステップS303〜S307の判定の結果、1つでも条件を満たす場合、先行処理管理部109は、先読み処理の対象とするメール群を決定する処理を実行する(S309)。
【0144】
このように、先読み処理の対象とするメール群は、携帯電話100の電池の残量や使用可能メモリ残量などの状況情報によって可変であることが好ましい。すなわち、電池の残量が多いときや、充電器に接続されているとき、使用可能メモリ残量が多いときほど、より多くのメールを先読み処理の対象とし、逆に、電池残量が少ないとき、使用可能メモリ残量が少ないときほど、先読み処理の対象とするメールを少なくする、または先読み処理を行なわないことにする、などとする構成であることが好ましい。これにより、電池の消耗や、携帯電話の他のアプリケーションの実行の妨げを避けることができる。
【0145】
また、先読み処理の対象とするメール群は、画面表示状況の変化やユーザの設定変更操作などに応じて、適宜変更されることも好ましい。すなわち、ユーザが受信箱内でカーソルを移動させるのに応じて、カーソルが近いメールに対する先読み処理を優先し、カーソルが遠くなったメールに対する先読み処理を中止する、などとする構成であることが好ましい。これにより、近い将来に閲覧される可能性の高いメールに対して、先読み処理を優先させることができる。
【0146】
ステップS309での決定方法については、本発明において限定されない。たとえば、カーソルが当たって選択されているメールデータから所定の範囲を先読み処理の対象とすると予め設定されている場合、その設定に基づいて決定されてもよいし、所定の範囲はユーザ操作によって設定されるものであってもよい。ユーザ操作によって設定される場合、メールの本文のみを確認したいような場合には先読み処理を行なわない設定にするなどできて利便性が増す。
【0147】
より具体的には、選択されているメールデータの1つ前から3つ先までの範囲にあるメールデータを先読み処理の対象とするものと設定されている場合、図23に示されるメールデータのデータ構造の具体例を参照して、メールデータ20にカーソルが当たって選択されているときには、ステップS309で先行処理管理部109は、範囲21に含まれるメールデータ群を先読み処理の対象と決定する。このように、選択されているメールデータに基づいて先読み処理の対象とするメールデータ群を決定して先読み処理を実行することで、ユーザがメールを閲覧する際に、該メールに添付されていたファイルのサムネイルが完成している可能性を高くすることができる。
【0148】
また、先読み処理の対象とするメールデータ群の決定方法の他の具体例としては、現在選択されているメールと、送信元、件名などの属性を同じくするメールを先読み処理の対象とするメールデータ群に決定してもよい。また、受信メールの保存領域を複数設け、送信者ごとに、あるいは適当なグループごとなど、メールの属性に応じて保存先を分類する場合においては、特定の属性に応じた保存領域に保存されるメールデータ群を、先行サムネイル作成処理の対象とするメールデータ群に決定してもよい。
【0149】
ステップS309で先読み処理の対象とするメールデータ群が決定されると、先行処理管理部109はメールデータ群に含まれる各メールデータについて先読み処理を実行したか否かを判定する(S311)。そして、上述のメールデータ群に含まれるすべてのメールデータについて先読み処理が完了している場合には(S311でNO)、先読み処理を終了して、処理を図20に示されるメインルーチンに戻す。
【0150】
一方、上述のメールデータ群の中に先読み処理を実行していないメールデータが含まれる場合には(S311でYES)、先行処理管理部109は、先読み処理を実行していないメールデータの中から1つ、先読み処理の対象とするメールデータを決定する(S313)。ここでのメールデータの決定方法もまた、画面表示状況の変化や、電池残量やメモリ使用状況の変化や、ユーザの設定変更操作などに応じて、適宜変更されることが好ましい。
【0151】
続いて図22を参照して、文書選択部102が先行処理部109からステップS313での決定を受取ると、文書解析部104において該メールデータが解析される(S323)。ここでの解析は、第1の実施の形態におけるステップS103での処理と同様であるため、詳細な説明は繰返さない。ステップS323での解析の結果、該メールデータのフィールド名「attach_data」の情報が空(NULL)、つまり該メールデータから添付ファイルが抽出されない場合には(S325でYES)、該メールデータについての先読み処理を終了して、処理を図21のステップS301に戻し、再度上述の処理を繰返す。
【0152】
一方、ステップS323での解析の結果、フィールド名「attach_data」の情報がある場合、つまり該メールデータから添付ファイルが抽出された場合には(S325でNO)、文書解析部104はそのメールデータのフィールド名「attach_data」の情報からメディアファイルを読出し、図4に示されるデータ構造に展開されて以降の処理が実行されていない添付ファイルがあるか否かを判定する(S327)。たとえば、ステップS313で先読み処理の対象に決定されたメールデータが図23に示されるメールデータ20であるときに、図24に示されるように、メールデータ20のフィールド名「attach_data」の情報からメディアファイル「nature.jpg」,「Duck.png」,「Sunset.png」を読出し、図4に示されるデータ構造に展開されて以降の処理が実行されていない添付ファイルがあるか否かを判定する
その結果、すべての添付ファイルについて処理済みである場合には(S327でNO)、該メールデータについての先読み処理を終了して、処理を図21のステップS301に戻し、再度上述の処理を繰返す。
【0153】
一方、ステップS327での判定の結果、処理を行なっていない添付ファイルがある場合には、文書解析部104は、その中の1つの添付ファイルについて図4に示されるようなデータ構造に展開し、メディアデータを解析する(S329)。その結果、メディアファイルのフィールド名「thumb_data」の情報が空(NULL)、つまりサムネイルデータが存在しない場合には(S331でYES)、サムネイル処理制御部106はサムネイル作成部107に該添付ファイルのサムネイルデータを作成させる(S333)。図24においては、メディアファイル「Sunset.png」のフィールド名「thumb_data」の情報が空(NULL)であるため、メディアファイル「Sunset.png」のサムネイルデータを作成させる。
【0154】
また、ステップS329での解析の結果、メディアファイルのフィールド名「thumb_data」の情報がある場合、つまりサムネイルデータが存在する場合には(S331でNO)、ステップS333の処理をスキップして、処理を次へ進める。
【0155】
次に、文書解析部104は、メディアファイルのフィールド名「thumb_data」の情報からサムネイルデータを読出し、フィールド名「complete」の情報を解析する。図25に、上述のメディアファイル「Nature.jpg」、「Duck.png」のデータ構造についての具体例を挙げる。図25に示されるメディアファイル「Nature.jpg」のように、解析の結果、フィールド名「complete」の情報が「0」、つまり作成済みのサムネイルが既に存在していれば(S335でYES)、該添付ファイルについての処理を終了して、処理をステップS327に戻し、再度上述の処理を繰返す。
【0156】
一方、図25に示されるメディアファイル「Duck.png」のように、ステップS335での解析の結果、フィールド名「complete」の情報が「0」でない、つまり作成済みのサムネイルが存在しない場合(S335でNO)、文書解析部104はさらにフィールド名「status」の情報を解析する。その結果、フィールド名「status」の情報が「0」、つまりサムネイル作成処理が開始していなければ(S337でNO)、サムネイル処理制御部106においてサムネイル作成部107に対してサムネイルの作成を要求し、サムネイル作成処理を開始する(S339)。そして、サムネイル処理制御部106は、フィールド名「status」の情報を「1」に更新する(S341)。
【0157】
そして、サムネイル作成処理が完了すれば(S337でYESかつS343でYES)、サムネイル処理制御部106は、フィールド名「complete」の情報を「0」に更新し(S345)、該添付ファイルについての処理を終了して処理をステップS327に戻し、再度上述の処理を繰返す。
【0158】
以上の処理を繰返して、該メールデータの全ての添付ファイルについて処理を完了すると(S327でNO)、処理を図21のステップS301に戻し、再度上述の処理を繰返す。つまり、ステップS309で決定された先読み処理対象のメール群のうちのステップS313で決定された1つのメールデータについて先読み処理が完了し、まだステップS309で決定された先読み処理対象のメール群のうちの他のメールデータについて先読み処理を行なう場合(S301でNO)、再度ステップS303〜S307の各処理を行なって、1つでも条件を満たす場合、先行処理管理部109はステップS309で先読み対象とするメール群を決定し直して以降の処理を繰返す。
【0159】
なお、上述の処理では、先読み処理の対象となるメールデータが複数存在する場合において1つのメールデータに添付された添付ファイルのすべてについてサムネイル作成処理を完了してから次のメールデータに対して先読み処理を実行するものとしたが、先行処理管理部109は、先読み処理の対象となる複数のメールデータのすべてに対して、添付された添付ファイルのうちの少なくとも1つの添付ファイルのサムネイル作成処理が完了することを優先するように処理を制御してもよい。このようにすることにより、あるメールを開いたときに少なくとも1つのサムネイルは完成済みであって表示できる可能性が高まり、ユーザの利便性が向上する。
【0160】
次に、上述のステップS215で実行されるメール表示処理について図26および図27のフローチャートを用いて説明する。
【0161】
図26を参照して、始めに、文書解析部104において、表示処理の対象となるメールデータが解析される(S401)。ここでの処理は、第1の実施の形態におけるステップS103での処理と同様であるため、説明を繰返さない。そして文書解析部104は、ステップS401での解析結果に基づいて、該メールデータのフィールド名「msg_text」の情報からテキストを取得し、取得されたテキストは表示管理部105によって表示部142に表示される(S403)。
【0162】
さらに、文書解析部104は該メールデータのフィールド名「attach_data」の情報をチェックし、フィールド名「attach_data」の情報が空(NULL)、つまり該メールデータから添付ファイルが抽出されない場合には(S407でYES)、ステップS403のテキスト表示のみ行なって該メールを開封する処理を終了する。
【0163】
一方、解析の結果、フィールド名「attach_data」の情報がある場合、つまり該メールデータから添付ファイルが抽出された場合には(S407でNO)、サムネイルが表示されていない添付ファイルがないかチェックする(S409)。サムネイルが表示されていない添付ファイルがある場合には(S409でYES)、文書解析部104はメールデータのフィールド名「attach_data」の情報からメディアファイルを読出し、添付ファイルを解析する(S417)。その結果、メディアファイルのフィールド名「thumb_data」の情報が空(NULL)、つまりサムネイルデータが存在しない場合には(S419でYES)、サムネイル処理制御部106において該添付ファイルのサムネイルデータを作成する(S421)。また、ステップS417での解析の結果、メディアファイルのフィールド名「thumb_data」の情報がある場合、つまりサムネイルデータが存在する場合には(S419でNO)、ステップS421の処理をスキップして、処理を次へ進める。
【0164】
次に、図27を参照して、文書解析部104は、メディアファイルのフィールド名「thumb_data」の情報からサムネイルデータを読出し、フィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「1」、つまり表示可能な中途データが存在していれば(S431でNO、かつS439でYES)、表示管理部105において中途データを表示部142に表示する(S441)。ここでの中途データは、第1の実施の形態で説明されたように、サムネイル作成処理の途中段階のデータであって、ステップS441では図8〜図16に示されたように中途データを段階的に表示する。また、第1の実施の形態で説明されたように、中途データに替えて代替データを取得して、ステップS441では図17に示されたように代替データを表示してもよい。
【0165】
一方、ステップS431での解析の結果、フィールド名「complete」の情報が「−1」、つまり表示できるサムネイルデータも中途データも存在しない場合(S439でNO)、文書解析部104はさらにフィールド名「status」の情報を解析する。その結果、フィールド名「status」の情報が「0」、つまりサムネイル作成処理が開始していなければ(S443でYES)、サムネイル処理制御部106においてサムネイル作成部107に対してサムネイルの作成を要求し、サムネイル作成処理を開始する(S445)。そして、サムネイル処理制御部106は、フィールド名「status」の情報を「1」に更新する(S447)。
【0166】
他方、ステップS431での解析の結果、フィールド名「complete」の情報が「0」、つまり作成済みのサムネイルが既に存在していれば(S431でYES)、フィールド名「address」の情報にしたがって該サムネイルを取得して、表示管理部105においてテキストと共に表示部142に表示する(S433)。
【0167】
なお、本実施の形態において作成済みのサムネイルが既に存在している場合としては、上述の処理の結果サムネイルが作成された場合や、先に述べた先読み処理でサムネイルが作成されて、サムネイル一時保存部108に保存されている場合などが該当する。
【0168】
そして、サムネイル処理制御部106は、サムネイルデータのフィールド名「count」の情報であるアクセス回数を1インクリメントし(S435)、フィールド名「lastaccess」の情報を現在時刻に更新する(S437)。
【0169】
サムネイル処理制御部106は、上述の図27に示される処理を、表示処理対象のメールデータに添付されたすべての添付ファイルについて実行させる。そして、サムネイル未表示の添付ファイルがなくなり、該メールデータに添付されたすべての添付ファイルのサムネイルが表示されると(S409でYES)、メール表示処理を終了して、図20に示されるメインルーチンに処理を戻す。
【0170】
このように、第2の実施の形態にかかる携帯電話100ではユーザ操作に先行してサムネイルの作成を行ない、さらにユーザ操作にサムネイルの作成が間に合わなかった場合でも、上述のメール表示処理を実行してより早い段階で完成したサムネイルを表示することができる。このため、ユーザのストレスを軽減することができる。
【0171】
なお、上述の第1の実施の形態および第2の実施の形態では、本発明にかかる情報出力装置である携帯電話100が、メールに添付された静止画データである添付ファイルのサムネイルを作成する処理を中心に説明したが、作成されたサムネイルが表示されるタイミングは、ユーザのカーソル移動操作により該メールにカーソルが当てられて選択され、ユーザによる該メールを「開く」操作がなされたタイミングであることが好ましい。さらに、ユーザのカーソル移動操作により該サムネイルにカーソルが当てられて選択され、ユーザによる該添付ファイルを「開く」操作がなされたタイミングに、携帯電話100では元の静止画データを大きなサイズで表示する処理が実行されることが好ましい。この「開く」操作とは、決定操作を実行するためのキー(決定キーなど)の押下によるものであってもよいし、カーソル移動操作により該メールや該サムネイルにカーソルが当てられて選択された状態で所定の時間が経過したことによるものでもよい。
【0172】
また、本実施の形態にかかる携帯電話100がアニメーションや動画、プレゼンテーション文書などのように、自身が時間軸を持つメディアデータを含む情報を取扱う場合については、上述のように、再生時間内の任意の複数の再生時刻における表示データを静止画として抽出し、これを縮小することで複数のサムネイルを作成してもよく、さらにこの複数のサムネイルを、同じ画面に並べて表してもよいし、1つのサムネイル表示領域内で、所定の時間が経過するごとに自動的に切替えて表示してもよい。また、この場合にも、静止画と同様に、上述のサムネイルを開く操作によって、表示または再生されることが好ましい。このとき、携帯電話100は、ピクセルサイズ縮小前の本来のサイズで表示または再生してもよいし、サムネイル表示領域内で表示または再生してもよい。
【0173】
以下に、携帯電話100で時間的に遷移するメディアを含むメールを取扱う場合のサムネイル表示について、具体的に、時間的に遷移するプレゼンテーション文書のサムネイル表示について図28〜図30を用いて説明する。
【0174】
図28および図29は、メールにプレゼンテーション文書が添付されていた場合の、表示部142に表示される画面遷移の具体例を示す図である。プレゼンテーション文書は、ユーザによるスライド切替え操作もしくは所定の時間が経過することにより、切替えて表示される複数のスライドからなる文書である。
【0175】
図28(a)は図8(a)と同じ図であって、受信箱に入っているメールの一覧を表示するメール一覧表示画面の具体例を示す図である。そのメール一覧表示画面において、カーソル移動で表示対象メール(図28(a)では、件名「Subject1」のメール)を選択し、たとえば決定キーの押下などによって、表示対象メールを開く。図28(b)は、件名「Subject1」の表示対象メールを開いたときのメール表示画面の具体例を示す図である。
【0176】
図28(c)および図28(d)に示されるように、そのメール表示画面において上下キーを押してメールに添付されたプレゼンテーション文書にカーソルを移動した状態で、操作受付部101において、たとえば「Options」の「Slide」を選択するなどのユーザのキー操作を受付けることにより、サムネイル処理制御部106は、プレゼンテーション文書のスライドのピクセルサイズを縮小したサムネイルを各スライドごとに作成し、図28(e)に示されるように、表示管理部105において画面内に並べてサムネイルとして表示する。このとき、スライドが多数あり、1つの画面内にサムネイルを並べきれない場合には、スクロールなどの手法により順次表示してもよい。
【0177】
図28(e)に示されるようなサムネイル表示画面において、上下左右キーによりハイライト表示するスライドを移動し、プレゼンテーション文書を表示、再生する操作(たとえば決定キーの押下)を受付けると、図29(a)〜図29(c)に示されるように、カーソルが当たっているスライドから表示、再生する。また、携帯電話100は、図28(c)に示されるメール表示画面においてユーザのキー操作(ここでは「Open」を選択する操作)を受付けて直接プレゼンテーション文書を表示、再生してもよい。
【0178】
さらに、プレゼンテーション文書のサムネイル表示の他の具体例として、サムネイル表示領域内で所定の時間が経過するごとに所定数のスライドのサムネイルを切替えて表示してもよい。図30はその場合の表示部142に表示される画面遷移の具体例を示す図であって、件名「Subject1」の対象メールを選択したときに(図30(a))、添付ファイル名「Material.ppt」のサムネイル表示領域に各スライドごとのサムネイルを1つずつ所定時間ごとに切替えて表示している例が示されている(図30(b)〜図30(d))。
【0179】
また、携帯電話100で時間的に遷移するメディアを含むメールを取扱う場合のサムネイル表示について、具体的に、MMS(Multimedia Messaging Service)のように時間的に切替わる複数のスライドから構成されるメールのサムネイル表示について図31を用いて説明する。
【0180】
図31は、メールがMMSのように時間的に切替わる複数のスライドから構成されている場合の、表示部142に表示される画面遷移の具体例を示す図である。本具体例では表示対象メールは3枚のスライドを含んで構成され、各スライドにはそれぞれ、テキスト、静止画、動画、および音声などの複数のメディアファイルが添付されてレイアウトされている。
【0181】
図31(a)もまた図8(a)と同じ図であって、受信箱に入っているメールの一覧を表示するメール一覧表示画面の具体例を示す図である。そのメール一覧表示画面において、カーソル移動で表示対象メール(図31(a)では、件名「Subject1」のメール)を選択し、たとえば決定キーの押下などによって、表示対象メールを開く。MMSのように時間的に切替わる複数のスライドから構成されるメールは、携帯電話100において展開すると、始めに図31(d)に示されるような1枚目のスライドが表示され、所定時間ごとに2枚目、3枚目と切替わる(図31(e),(f))。
【0182】
また、図31(a)に示されるメール一覧表示で表示対象メールを選択した状態で、操作受付部101において、たとえば「Options」メニューから「Slide」を選択などのユーザのキー操作を受付けることにより、サムネイル処理制御部106は、メールに含まれるスライドのピクセルサイズを縮小したサムネイルを各スライドごとに作成し、図31(b)に示されるように、表示管理部105において画面内に並べてサムネイルとして表示する。このため、ユーザは、メールを表示させてすべてのスライドが切替わって表示されるまで待たなくても、このメールにどんなスライドが含まれているかひと目で見ることができる。
【0183】
図31(b)に示されるようなサムネイル表示画面において、上下左右キーによりハイライト表示するスライドを移動し、メールを表示、再生する操作(たとえば決定キーの押下)を受付けると、カーソルが当たっているスライドから表示、再生する。たとえば、図31(b)では1/3枚目のスライドを示すサムネイルが選択されているので、その状態でメールを表示、再生する操作を受付けると、図31(d)に示される1/3枚目のスライドから該メールを表示、再生する。同様に、図31(c)では2/3枚目のスライドを示すサムネイルが選択されているので、その状態でメールを表示、再生する操作を受付けると、図31(e)に示される2/3枚目のスライドから該メールを表示、再生する。
【0184】
なお、このようにサムネイル表示する対象はメールに添付されたメディアファイルだけに限定されるものではない。
【0185】
さらに、上述のプレゼンテーション文書のサムネイル表示方法と同様に、1つのメールに添付されたファイルが多数あって、サムネイル表示領域内にすべて表示できない場合には、サムネイル表示領域内に所定数のサムネイルを所定の時間が経過するごとに切替えて表示してもよい。
【0186】
また、上述のように、表示すべきサムネイルが作成処理中のときに、作成途中の中途データまたは代替データを表示する、または表示すべきサムネイルが作成処理中のときに何も表示しない場合においても、上述の「開く」操作によって、本来のデータを表示または再生できることが好ましい。または、表示すべきサムネイルが作成処理中のときに何も表示しない場合において、ユーザによるキャンセル操作によって、進行中または開始前のサムネイル作成処理を中止できることが好ましい。ユーザによるキャンセル操作としては、キャンセルボタンを押下することによるものであってもよいし、カーソル移動操作によってカーソルが外れて選択状態が解除されたことをもってキャンセルされたとみなすことにしてもよい。
【0187】
さらに、本実施の形態においては、本発明にかかる情報出力装置を携帯電話100で実現するものとして説明したが、本発明にかかる情報出力装置の他の具体例として、テレビジョン受像機(以下、テレビという)であって、取扱うデータが番組情報であり、番組データ自体もしくは番組情報に付与されたメディアファイルの概要提示情報であるサムネイルを表示する場合について述べる。
【0188】
図32は、本発明にかかる情報出力装置の具体例であるテレビに表示される番組表の具体例を示す図である。図32を参照して、本発明にかかる情報出力装置の具体例であるテレビで表示される番組表には、各番組を表示する領域内に、番組名および番組の説明に加えて、番組の内容やロゴを表わす画像、番組のハイライトシーンなどの動画像、などがサムネイルで表示される。このように、番組に関連した情報の概要を提示するサムネイルを表示することにより、ユーザは所望の番組を見つけやすくなる。また、各サムネイル表示領域内で一定時間ごとにサムネイルが切替わってもよい。さらに番組ごとに異なるサムネイルを表示(「金曜映画」のように、毎回内容が大きく変化するような番組はその都度異なるサムネイルを表示するのでもよい)するようにして、サムネイルの準備に時間がかかる場合は、テレビにおいて上述のメールの開封処理と同様の処理を行なうことで、該サムネイルが準備ができるまで、作成途中の中途データを表示してもよいし、代替データとしてカテゴリ別のデフォルトサムネイルを表示してもよい。
【0189】
さらに、本発明にかかる情報出力装置が行なうサムネイルの表示方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータ読取可能な記録媒体に格納されて提供される。本発明では、この記録媒体として、一般的なコンピュータで処理が行なわれるために、一般的なコンピュータに内蔵あるいは接続されるROMなどのメモリがプログラムメディアであってもよいし、また、外部記憶装置としてプログラム読取装置が設けられ、そこに記録媒体を挿入することで読取可能なフレキシブルディスクやCD−ROM(Compact Disc-Read Only Memory)などのプログラムメディアであってもよい。
【0190】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよい。またはいずれの場合もマイクロプロセッサがプログラムを読出し、一般的なコンピュータを構成するRAMなどのプログラム記憶エリアにダウンロードして、そのプログラムを実行する方式であってもよい。このダウンロード用のプログラムは予めコンピュータ本体に格納されているものとする。
【0191】
ここで上記プログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM/MO(Magnet Optical disc)/MD(Mini Disc)/DVD(Digital Video Disc)等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)(R)、EEPROM(Electronically Erasable and Programmable Read Only Memory)(R)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0192】
また、本発明にかかる情報出力装置はインターネットを含む通信ネットワークと接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体を用いてもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め情報出力装置本体に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。
【0193】
なお、記録媒体に格納されている内容としてはプログラムに限定されず、デー今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】 第1の実施の形態にかかる携帯電話100のハードウェア構成の具体例を示すブロック図である。
【図2】 第1の実施の形態にかかる携帯電話100の機能構成の具体例を示すブロック図である。
【図3】 メールデータのデータ構成の具体例を示す図である。
【図4】 メディアファイルのデータ構成の具体例を示す図である。
【図5】 サムネイルデータのデータ構成の具体例を示す図である。
【図6】 第1の実施の形態にかかる携帯電話100でメールを開封する処理を示すフローチャートである。
【図7】 第1の実施の形態にかかる携帯電話100でメールを開封する処理を示すフローチャートである。
【図8】 画面遷移の具体例を示す図である。
【図9】 画面遷移の具体例を示す図である。
【図10】 画面遷移の具体例を示す図である。
【図11】 中途データの表示画面の第1の具体例を示す図である。
【図12】 中途データの表示画面の第2の具体例を示す図である。
【図13】 中途データの表示画面の第3の具体例を示す図である。
【図14】 中途データの表示画面の第4の具体例を示す図である。
【図15】 中途データの表示画面の第5の具体例を示す図である。
【図16】 中途データの表示画面の第6の具体例を示す図である。
【図17】 代替データの表示画面の具体例を示す図である。
【図18】 第1の実施の形態にかかる携帯電話100でのサムネイルデータの削除または移動処理を示すフローチャートである。
【図19】 第2の実施の形態にかかる携帯電話100の機能構成の具体例を示すブロック図である。
【図20】 第2の実施の形態にかかる携帯電話100でメールを開封する処理を示すフローチャートである。
【図21】 先読み処理を示すフローチャートである。
【図22】 先読み処理を示すフローチャートである。
【図23】 メールデータのデータ構造の具体例を示す図である。
【図24】 メディアファイルのデータ構造の具体例を示す図である。
【図25】 サムネイルデータのデータ構造の具体例を示す図である。
【図26】 メール表示処理を示すフローチャートである。
【図27】 メール表示処理を示すフローチャートである。
【図28】 画面遷移の具体例を示す図である。
【図29】 画面遷移の具体例を示す図である。
【図30】 画面遷移の具体例を示す図である。
【図31】 画面遷移の具体例を示す図である。
【図32】 本発明にかかる情報出力装置の具体例であるテレビに表示される番組表の具体例を示す図である。
【符号の説明】
11 通信部、12 制御部、13 記憶部、14 入出力部、20 メール、21 範囲、100 携帯電話、101 操作受付部、102 文書選択部、103 文書保存部、104 文書解析部、105 表示管理部、106 サムネイル処理制御部、107 サムネイル作成部、108 サムネイル一時保存部、109 先行処理管理部、110 電源管理部、111 メモリ管理部、141 操作部、142 表示部、143 音声入力部、144 音声出力部、145 画像取得部。

Claims (34)

  1. 画像を含んだメディアファイルが関連付けられているファイルを記憶する記憶手段と、
    前記記憶手段に記憶されているファイルの中から1つのファイルを選択する第1の情報選択手段と、
    前記第1の情報選択手段で選択されたファイルに関連付けられているメディアファイルの概要提示情報を、当該メディアファイルに含まれる画像の少なくとも一部を用いて作成する概要提示情報作成手段と、
    前記作成された概要提示情報を提示する提示手段とを備え、
    前記概要提示情報作成手段は、前記第1の情報選択手段で選択されたファイルに複数のメディアファイルが関連付けられている場合に、前記複数のメディアファイルの各々についての複数の概要提示情報を、各作成処理過程の少なくとも一部を時間的に重複させて作成し、
    前記提示手段は、前記概要提示情報作成処理の完了前において、前記概要提示情報に替わる代替情報として、前記概要提示情報とは異なる情報であって、予め記憶されている所定の画像、または前記概要提示情報作成手段で作成途中の前記概要提示情報を、各々の前記概要提示情報作成処理に応じて段階的に提示する、情報出力装置。
  2. 前記概要提示情報作成手段での前記概要提示情報作成処理の実行を制御する概要提示情報作成制御手段と、
    概要提示情報を格納する格納手段とをさらに備え、
    前記概要提示情報が前記格納手段に格納されている場合には、
    前記概要提示情報作成制御手段は、前記概要提示情報作成手段において前記概要提示情報作成処理を実行しないよう制御し、
    前記提示手段は、前記格納手段に格納されている前記概要提示情報を提示する、請求項1に記載の情報出力装置。
  3. 前記第1の情報選択手段で選択された前記ファイルに基づいて、前記記憶手段に記憶されているファイルの中から、前記概要提示情報作成処理を行なう対象とする、前記第1の情報選択手段で選択されたファイルとは異なるファイルを選択する第2の情報選択手段をさらに備え、
    前記概要提示情報作成手段は、前記第2の情報選択手段で選択されたファイルに関連付けられているメディアファイルの概要提示情報を作成して前記格納手段に格納する、請求項2に記載の情報出力装置。
  4. 前記第2の情報選択手段は、当該情報出力装置の状況に基づいて前記概要提示情報作成処理を行なう対象とするファイルを選択する、請求項3に記載の情報出力装置。
  5. 前記第2の情報選択手段は、前記第1の情報選択手段で選択された前記ファイルの属性に基づいて前記概要提示情報作成処理を行なう対象とするファイルを選択する、請求項3に記載の情報出力装置。
  6. 前記第2の情報選択手段で選択された複数のファイルに複数のメディアファイルが関連付けられたファイルが含まれるとき、前記概要提示情報作成制御手段は、前記第2の情報選択手段で選択されたすべてのファイルについて、前記ファイルに関連付けられた少なくとも1つのメディアファイルの概要提示情報が作成されるよう、前記概要提示情報作成手段での前記概要提示情報作成処理の実行を制御する、請求項3〜5のいずれかに記載の情報出力装置。
  7. 前記第2の情報選択手段で選択された複数のファイルに複数のメディアファイルが関連付けられたファイルが含まれるとき、前記概要提示情報作成制御手段は、前記第2の情報選択手段で選択された1つのファイルについて、前記1つのファイルに関連付けられたすべてのメディアファイルの概要提示情報が作成された後に、次のファイルに関連付けられたメディアファイルの概要提示情報を作成するよう、前記概要提示情報作成手段での前記概要提示情報作成処理の実行を制御する、請求項3〜5のいずれかに記載の情報出力装置。
  8. 前記格納手段から削除対象である概要提示情報を選択する削除概要提示情報選択手段と、
    前記選択された概要提示情報を削除する削除手段とをさらに備える、請求項2に記載の情報出力装置。
  9. 前記削除概要提示情報選択手段は、メディアファイルの属性に基づいて前記削除対象の概要提示情報を選択する、請求項8に記載の情報出力装置。
  10. 前記削除概要提示情報選択手段は、前記概要提示情報のデータサイズに基づいて前記削除対象の概要提示情報を選択する、請求項8に記載の情報出力装置。
  11. 前記削除概要提示情報選択手段は、前記概要提示情報作成手段での前記概要提示情報作成処理のコストに基づいて前記削除対象の概要提示情報を選択する、請求項8に記載の情報出力装置。
  12. 前記削除概要提示情報選択手段は、前記提示手段での前記概要提示情報の提示状況に基づいて前記削除対象の概要提示情報を選択する、請求項8に記載の情報出力装置。
  13. 前記削除概要提示情報選択手段が前記削除対象の概要提示情報を複数選択したとき、前記削除手段は、1つのファイルに関連付けられた少なくとも1つのメディアファイルの概要提示情報を残すように前記削除対象の概要提示情報のうちの所定の概要提示情報を削除する、請求項8〜12のいずれかに記載の情報出力装置。
  14. 前記提示手段での前記概要提示情報の提示のタイミングを制御する概要提示情報提示制御手段をさらに備える、請求項1〜13のいずれかに記載の情報出力装置。
  15. 前記概要提示情報提示制御手段は、前記第1の情報選択手段で前記ファイルが選択された後、所定時間経過後に前記概要提示情報を提示するよう、前記提示手段での前記概要提示情報の提示のタイミングを制御する、請求項14に記載の情報出力装置。
  16. 記憶装置に記憶されている、画像を含んだメディアファイルが関連付けられているファイルの中から1つのファイルを選択する第1の情報選択ステップと、
    前記第1の情報選択ステップで選択されたファイルに関連付けられているメディアファイルの概要提示情報を、当該メディアファイルに含まれる画像の少なくとも一部を用いて作成する概要提示情報作成ステップと、
    前記作成された概要提示情報を提示する提示ステップとを備え、
    前記概要提示情報作成ステップは、前記第1の情報選択ステップで選択されたファイルに複数のメディアファイルが関連付けられている場合に、前記複数のメディアファイルの各々についての複数の概要提示情報を、各作成処理過程の少なくとも一部を時間的に重複させて作成し、
    前記提示ステップは、前記概要提示情報作成処理の完了前において、前記概要提示情報に替わる代替情報として、前記概要提示情報とは異なる情報であって、予め記憶されている所定の画像、または前記概要提示情報作成ステップで作成途中の前記概要提示情報を、各々の前記概要提示情報作成処理に応じて段階的に提示する、情報出力方法。
  17. 前記概要提示情報作成ステップでの前記概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップと、
    概要提示情報を格納装置に格納する格納ステップとをさらに備え、
    前記概要提示情報が前記格納装置に格納されている場合には、
    前記概要提示情報作成制御ステップは、前記概要提示情報作成ステップにおいて前記概要提示情報作成処理を実行しないよう制御し、
    前記提示ステップは、前記格納装置に格納されている前記概要提示情報を提示する、請求項16に記載の情報出力方法。
  18. 前記第1の情報選択ステップで選択された前記ファイルに基づいて、前記記憶装置に記憶されているファイルの中から、前記概要提示情報作成処理を行なう対象とする、前記第1の情報選択ステップで選択されたファイルとは異なるファイルを選択する第2の情報選択ステップをさらに備え、
    前記概要提示情報作成ステップは、前記第2の情報選択ステップで選択されたファイルに関連付けられているメディアファイルの概要提示情報を作成して前記格納装置に格納する、請求項16に記載の情報出力方法。
  19. 前記第2の情報選択ステップは、情報出力装置の状況に基づいて前記概要提示情報作成処理を行なう対象とするファイルを選択する、請求項18に記載の情報出力方法。
  20. 前記第2の情報選択ステップは、前記第1の情報選択ステップで選択された前記ファイルの属性に基づいて前記概要提示情報作成処理を行なう対象とするファイルを選択する、請求項18に記載の情報出力方法。
  21. 前記第2の情報選択ステップで選択された複数のファイルに複数のメディアファイルが関連付けられたファイルが含まれるとき、前記概要提示情報作成制御ステップは、前記第2の情報選択ステップで選択されたすべてのファイルについて、前記ファイルに関連付けられた少なくとも1つのメディアファイルの概要提示情報が作成されるよう、前記概要提示情報作成ステップでの前記概要提示情報作成処理の実行を制御する、請求項18〜20のいずれかに記載の情報出力方法。
  22. 前記第2の情報選択ステップで選択された複数のファイルに複数のメディアファイルが関連付けられたファイルが含まれるとき、前記概要提示情報作成制御ステップは、前記第2の情報選択ステップで選択された1つのファイルについて、前記1つのファイルに関連付けられたすべてのメディアファイルの概要提示情報が作成された後に、次のファイルに関連付けられたメディアファイルの概要提示情報を作成するよう、前記概要提示情報作成ステップの前記概要提示情報作成処理の実行を制御する、請求項18〜20のいずれかに記載の情報出力方法。
  23. 前記格納ステップから削除対象である概要提示情報を選択する削除概要提示情報選択ステップと、
    前記選択された概要提示情報を削除する削除ステップとをさらに備える、請求項17に記載の情報出力方法。
  24. 前記削除概要提示情報選択ステップは、メディアファイルの属性に基づいて前記削除対象の概要提示情報を選択する、請求項23に記載の情報出力方法。
  25. 前記削除概要提示情報選択ステップは、前記概要提示情報のデータサイズに基づいて前記削除対象の概要提示情報を選択する、請求項23に記載の情報出力方法。
  26. 前記削除概要提示情報選択ステップは、前記概要提示情報作成ステップでの前記概要提示情報作成処理のコストに基づいて前記削除対象の概要提示情報を選択する、請求項23に記載の情報出力方法。
  27. 前記削除概要提示情報選択ステップは、前記提示ステップでの前記概要提示情報の提示状況に基づいて前記削除対象の概要提示情報を選択する、請求項23に記載の情報出力方法。
  28. 前記削除概要提示情報選択ステップが前記削除対象の概要提示情報を複数選択したとき、前記削除ステップは、1つのファイルに関連付けられた少なくとも1つのメディアファイルの概要提示情報を残すように前記削除対象の概要提示情報のうちの所定の概要提示情報を削除する、請求項23〜27のいずれかに記載の情報出力方法。
  29. 前記提示ステップでの前記概要提示情報の提示のタイミングを制御する概要提示情報提示制御ステップをさらに備える、請求項16〜28のいずれかに記載
    の情報出力方法。
  30. 前記概要提示情報提示制御ステップは、前記第1の情報選択ステップで前記ファイルが選択された後、所定時間経過後に前記概要提示情報を提示するよう、前記提示ステップでの前記概要提示情報の提示のタイミングを制御する、請求項29に記載の情報出力方法。
  31. 画像を含んだメディアファイルが関連付けられているファイルの出力処理をコンピュータに実行させる情報出力プログラムであって、
    記憶装置に記憶されている、画像を含んだメディアファイルが関連付けられているファイルの中から1つのファイル情報を選択する第1の情報選択ステップと、
    前記第1の情報選択ステップで選択されたファイルに関連付けられているメディアファイルの概要提示情報を、当該メディアファイルに含まれる画像の少なくとも一部を用いて作成する概要提示情報作成ステップと、
    前記作成された概要提示情報を提示する提示ステップとを実行させ、
    前記概要提示情報作成ステップは、前記第1の情報選択ステップで選択されたファイルに複数のメディアファイルが関連付けられている場合に、前記複数のメディアファイルの各々についての複数の概要提示情報を、各作成処理過程の少なくとも一部を時間的に重複させて作成し、
    前記提示ステップは、前記概要提示情報作成処理の完了前において、前記概要提示情報に替わる代替情報として、前記概要提示情報とは異なる情報であって、予め記憶されている所定の画像、または前記概要提示情報作成ステップで作成途中の前記概要提示情報を、各々の前記概要提示情報作成処理に応じて段階的に提示する、情報出力プログラム。
  32. 前記概要提示情報作成ステップでの前記概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップと、
    概要提示情報を格納装置に格納する格納ステップとをさらに実行させ、
    前記概要提示情報が前記格納装置に格納されている場合には、
    前記概要提示情報作成制御ステップは、前記概要提示情報作成ステップにおいて前記概要提示情報作成処理を実行しないよう制御し、
    前記提示ステップは、前記格納装置に格納されている前記概要提示情報を提示する、請求項31に記載の情報出力プログラム。
  33. 前記第1の情報選択ステップで選択された前記ファイルに基づいて、前記記憶装置に記憶されているファイルの中から、前記概要提示情報作成処理を行なう対象とする、前記第1の情報選択ステップで選択されたファイルとは異なるファイル情報を選択する第2の情報選択ステップをさらに実行させ、
    前記概要提示情報作成ステップは、前記第2の情報選択ステップで選択されたファイルに関連付けられているメディアファイルの概要提示情報を作成して前記格納装置に格納する、請求項32に記載の情報出力プログラム。
  34. マルチメディアデータを含む情報の出力処理をコンピュータに実行させる情報出力プログラムを記録するコンピュータ読取可能な記録媒体であって、請求項31〜33のいずれかに記載の情報出力プログラムを記録した記録媒体。
JP2003198613A 2003-07-17 2003-07-17 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体 Expired - Fee Related JP4145746B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003198613A JP4145746B2 (ja) 2003-07-17 2003-07-17 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体
US10/564,710 US20060224937A1 (en) 2003-07-17 2004-07-14 Information output device outputting plurality of information presenting outline of data
PCT/JP2004/010041 WO2005008463A1 (ja) 2003-07-17 2004-07-14 データの概要を提示する情報を複数出力する情報出力装置
EP04747507A EP1650638B1 (en) 2003-07-17 2004-07-14 Information output device for outputting a plurality of information presenting outline of data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003198613A JP4145746B2 (ja) 2003-07-17 2003-07-17 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2005038101A JP2005038101A (ja) 2005-02-10
JP2005038101A5 JP2005038101A5 (ja) 2005-10-27
JP4145746B2 true JP4145746B2 (ja) 2008-09-03

Family

ID=34074386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003198613A Expired - Fee Related JP4145746B2 (ja) 2003-07-17 2003-07-17 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US20060224937A1 (ja)
EP (1) EP1650638B1 (ja)
JP (1) JP4145746B2 (ja)
WO (1) WO2005008463A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593991B2 (en) * 2004-08-05 2009-09-22 At&T Intellectual Property I, L.P. Systems and methods for processing attachments associated with electronic messages
US7647559B2 (en) * 2004-09-30 2010-01-12 Microsoft Corporation Method and computer-readable medium for navigating between attachments to electronic mail messages
US8032482B2 (en) * 2004-09-30 2011-10-04 Microsoft Corporation Method, system, and apparatus for providing a document preview
JP4232746B2 (ja) * 2005-02-24 2009-03-04 ソニー株式会社 再生装置、表示制御方法
KR100810303B1 (ko) * 2005-04-28 2008-03-06 삼성전자주식회사 휴대단말기의 데이터 표시 및 전송방법
US7995717B2 (en) 2005-05-18 2011-08-09 Mattersight Corporation Method and system for analyzing separated voice data of a telephonic communication between a customer and a contact center by applying a psychological behavioral model thereto
JP4848179B2 (ja) * 2005-11-11 2011-12-28 ソフトバンクモバイル株式会社 メール処理方法及び移動通信端末装置
KR100657520B1 (ko) * 2006-01-26 2006-12-14 삼성전자주식회사 정보 단말 장치에서 파일 계층 구조의 탐색 방법
US7640311B2 (en) * 2006-03-31 2009-12-29 Research In Motion Limited Method for viewing non-image attachments on a portable electronic device
KR100746830B1 (ko) * 2006-05-26 2007-08-07 엘지전자 주식회사 메시지 관리방법 및 이동통신단말기
US8132106B2 (en) * 2006-06-23 2012-03-06 Microsoft Corporation Providing a document preview
JP4924608B2 (ja) * 2006-06-30 2012-04-25 株式会社ニコン デジタルカメラ
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
JP4633029B2 (ja) * 2006-09-29 2011-02-16 Necパーソナルプロダクツ株式会社 事前再生処理方法、プログラム、及び被選択コンテンツの予測装置
JP4855970B2 (ja) * 2007-02-20 2012-01-18 株式会社エヌ・ティ・ティ・ドコモ 端末装置およびプログラム
JP4913623B2 (ja) * 2007-02-20 2012-04-11 株式会社エヌ・ティ・ティ・ドコモ 端末装置およびプログラム
JP5078041B2 (ja) * 2007-09-11 2012-11-21 シャープ株式会社 Av装置におけるデータ活用方法
JP2009098710A (ja) * 2007-10-12 2009-05-07 Canon Inc 携帯端末、当該端末におけるコンテンツの印刷方法、当該端末と通信する印刷装置及びその制御方法、印刷システム
JP5365830B2 (ja) * 2008-01-29 2013-12-11 日本電気株式会社 利用される可能性の高い情報をキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
JP5347370B2 (ja) * 2008-08-12 2013-11-20 富士通モバイルコミュニケーションズ株式会社 電子機器
JP2010072814A (ja) * 2008-09-17 2010-04-02 Fujitsu Ltd 情報処理装置および電子メール用プログラム
KR20100053186A (ko) * 2008-11-12 2010-05-20 삼성전자주식회사 썸네일 생성 방법 및 화상형성장치
US9305288B2 (en) * 2008-12-30 2016-04-05 Ford Global Technologies, Llc System and method for provisioning electronic mail in a vehicle
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
EP3260969B1 (en) 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US20110176747A1 (en) * 2010-01-15 2011-07-21 Dumitru Dan Mihai Method and portable electronic device for processing
US9836724B2 (en) * 2010-04-23 2017-12-05 Microsoft Technology Licensing, Llc Email views
JP5561825B2 (ja) * 2010-04-26 2014-07-30 京セラ株式会社 携帯端末及びプログラム
JP5797382B2 (ja) * 2010-06-09 2015-10-21 株式会社リコー ファイル交換システム、ファイル交換方法、モバイル機器及びプログラム
US8718632B2 (en) 2010-08-26 2014-05-06 Ford Global Technologies, Llc Service delivery network
KR101779001B1 (ko) * 2010-10-14 2017-09-18 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5353932B2 (ja) 2011-03-25 2013-11-27 ブラザー工業株式会社 情報処理プログラム、情報処理装置、および情報処理方法
JP5360107B2 (ja) * 2011-03-25 2013-12-04 ブラザー工業株式会社 情報処理プログラム、情報処理装置、および情報処理方法
JP2013126190A (ja) * 2011-12-15 2013-06-24 I-O Data Device Inc ストリーミングコンテンツの受信機および番組表の表示選択方法
JP2014032385A (ja) * 2012-07-09 2014-02-20 Seiko Epson Corp 表示システム、画像表示端末装置及び情報処理装置
USD744529S1 (en) 2013-06-09 2015-12-01 Apple Inc. Display screen or portion thereof with icon
USD760754S1 (en) * 2013-12-18 2016-07-05 Apple Inc. Display screen or portion thereof with graphical user interface
JP6292862B2 (ja) * 2013-12-19 2018-03-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10698591B2 (en) * 2014-03-31 2020-06-30 Microsoft Technology Licensing, Llc Immersive document interaction with device-aware scaling
JP6488604B2 (ja) * 2014-09-17 2019-03-27 株式会社リコー 出力システム、情報処理装置、およびプログラム並びに情報処理方法
US10409901B2 (en) * 2015-09-18 2019-09-10 Microsoft Technology Licensing, Llc Providing collaboration communication tools within document editor
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20170357672A1 (en) 2016-06-12 2017-12-14 Apple Inc. Relating digital assets using notable moments
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
USD846594S1 (en) 2017-07-10 2019-04-23 Apple Inc. Display screen or portion thereof with icon
JP7005203B2 (ja) * 2017-07-24 2022-01-21 キヤノン株式会社 画像表示装置および画像表示装置の制御方法、プログラム
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
DK202070616A1 (en) 2020-02-14 2022-01-14 Apple Inc User interfaces for workout content

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272586A (ja) * 1995-04-04 1996-10-18 Sony Corp 情報表示装置および方法
JPH09265370A (ja) * 1996-03-27 1997-10-07 Aiwa Co Ltd 情報表示方法
JPH1040063A (ja) * 1996-07-26 1998-02-13 Canon Inc 画像情報処理方法とその装置
JP3769868B2 (ja) * 1997-04-18 2006-04-26 富士ゼロックス株式会社 文書管理装置
US6269403B1 (en) * 1997-06-30 2001-07-31 Microsoft Corporation Browser and publisher for multimedia object storage, retrieval and transfer
JP4105260B2 (ja) * 1997-08-25 2008-06-25 富士通株式会社 情報処理装置
JPH11272379A (ja) * 1998-03-23 1999-10-08 Minolta Co Ltd 画像ファイル作成装置及び方法、画像表示装置及び方法、並びに、コンピュータ読み取り可能な記録媒体
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
JP3679660B2 (ja) * 1999-11-02 2005-08-03 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能なプログラムが格納された記憶媒体
JP2002044551A (ja) * 2000-07-26 2002-02-08 Toshiba Corp 放送受信表示装置及び放送受信表示方法
US20020042750A1 (en) * 2000-08-11 2002-04-11 Morrison Douglas C. System method and article of manufacture for a visual self calculating order system over the world wide web
US20020073124A1 (en) * 2000-12-11 2002-06-13 Takahiro Masuda Network browser
JP2002251315A (ja) * 2000-12-11 2002-09-06 Fujitsu Ltd ネットワークブラウザ
US6921220B2 (en) * 2000-12-19 2005-07-26 Canon Kabushiki Kaisha Image processing system, data processing apparatus, data processing method, computer program and storage medium
JP2002359846A (ja) * 2001-05-31 2002-12-13 Sanyo Electric Co Ltd 画像復号方法および装置
US20030187632A1 (en) * 2002-04-02 2003-10-02 Menich Barry J. Multimedia conferencing system
JP4016747B2 (ja) * 2002-07-08 2007-12-05 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置

Also Published As

Publication number Publication date
US20060224937A1 (en) 2006-10-05
JP2005038101A (ja) 2005-02-10
EP1650638B1 (en) 2012-11-14
EP1650638A1 (en) 2006-04-26
EP1650638A4 (en) 2010-07-07
WO2005008463A1 (ja) 2005-01-27

Similar Documents

Publication Publication Date Title
JP4145746B2 (ja) 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体
US20240203379A1 (en) Systems and techniques for aggregation, display, and sharing of data
JP5129755B2 (ja) コマンド機能表示方法及びモバイルターミナル
JP4533007B2 (ja) 画像管理装置、画像管理方法、及びプログラム
RU2416817C2 (ru) Способ и система интерфейсов кнопок панели задач
EP2631789A1 (en) Apparatus and method for grouping application program folders in electronic device
EP2544437A1 (en) Apparatus and method for transmitting message in mobile terminal
EP2013745A1 (en) User experience for multimedia mobile note taking
KR100713534B1 (ko) 이동 통신 단말의 사용자 데이터 검색 방법
US20130229410A1 (en) Rendering apparatus and method
CN106657641B (zh) 一种优化分享方式的方法及相关设备
JP2004341778A (ja) 電子メール閲覧装置及び電子メール編集装置
KR20110047422A (ko) 휴대단말의 리스트 제공 방법 및 장치
JP3879630B2 (ja) 情報機器及び情報機器制御プログラム
CN114461106B (zh) 展示方法、装置和电子设备
JP5360867B2 (ja) 端末装置及びプログラム
JP2008533607A (ja) データオブジェクトを管理する方法
JP2004005110A (ja) 情報機器、ランチャプログラム
JP6939294B2 (ja) 情報処理装置及びプログラム
JP2004334532A (ja) 電子メール編集装置
JP5681854B2 (ja) 携帯情報端末及びその履歴情報通知方法
JP2009163654A (ja) 画像サーバおよび携帯電話,それらの動作方法ならびにそれらを制御するコンピュータ・プログラム
WO2007094536A1 (en) Method and apparatus of retrieving for mobile terminal
JP5192468B2 (ja) データ処理装置及びプログラム
JP2007047934A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080618

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees