JP4420125B1 - 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理システム、画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP4420125B1
JP4420125B1 JP2008254932A JP2008254932A JP4420125B1 JP 4420125 B1 JP4420125 B1 JP 4420125B1 JP 2008254932 A JP2008254932 A JP 2008254932A JP 2008254932 A JP2008254932 A JP 2008254932A JP 4420125 B1 JP4420125 B1 JP 4420125B1
Authority
JP
Japan
Prior art keywords
moving image
image
identification information
frame
structured document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008254932A
Other languages
English (en)
Other versions
JP2010086297A (ja
Inventor
大輔 崎山
光造 岩城
健一 高橋
猛 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2008254932A priority Critical patent/JP4420125B1/ja
Priority to US12/740,573 priority patent/US8576440B2/en
Priority to PCT/JP2009/003905 priority patent/WO2010038348A1/ja
Application granted granted Critical
Publication of JP4420125B1 publication Critical patent/JP4420125B1/ja
Publication of JP2010086297A publication Critical patent/JP2010086297A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1244Job translation or job parsing, e.g. page banding
    • G06F3/1246Job translation or job parsing, e.g. page banding by handling markup languages, e.g. XSL, XML, HTML
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1206Improving or facilitating administration, e.g. print management resulting in increased flexibility in input data format or job format or job type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3271Printing or stamping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Facsimiles In General (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

【課題】 構造化文書に含まれる動画像が失われることなく画像を形成すること。
【解決手段】 MFPは、画像形成時において、PCからプリントデータと動画像を受信し、動画像を第2動画像識別情報と関連付けて記憶し、プリントデータに含まれる静止画像に、記憶された動画像の第2動画像識別情報と、プリントデータに含まれる位置情報とを埋め込み、静止画像を用紙に形成する。さらに、MFP100は、画像読取時において、用紙に形成された静止画像を読み取り(S71)、読み取られた静止画像から第2動画像識別情報と位置情報とを抽出し(S73、S75)、抽出された第2動画像識別情報で特定される動画像を取得し(S74)、静止画像の位置情報で特定される位置に動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する(S89)。
【選択図】 図9

Description

この発明は、画像処理システム、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、構造化文書を処理する画像処理システム、画像処理装置、画像処理方法および画像処理プログラムに関する。
近年、動画像を埋め込むことが可能な構造化文書が知られている。構造化文書は、HTML(HyperText Markup Language)またはXML(Extensible Markup Language)等のマークアップ言語で記述されたものや、PDF(Portable Document Format)で記述されたものがある。この構造化文書は、動画像を含むために、ディスプレイに表示することができるが、用紙などの記録媒体に画像として形成することができない。特開2007−80154号公報には、構造化文書に含まれる動画又はアニメーションの1フレームを静止画に変換して描画可能な構造化文書描画装置において、静止画に変換可能な少なくとも1つのフレーム位置又はフレーム範囲を構造化文書中に記述し、そのフレーム位置又はフレーム範囲の中から任意のフレームを選択して静止画に変換し、描画することを特徴とする構造化文書描画装置が記載されている。
しかしながら、構造化文書が描画された用紙は、動画像に含まれる複数のフレームのうちの1つのフレームのみが描画されるので、動画像の他のフレームが失われてしまうといった問題がある。
一方、特開2007−83663号公報には、記憶媒体が搭載された画像形成媒体に画像を形成する画像形成装置であって、前記記憶媒体に動画データを書き込む動画データ書込み手段と、前記動画データから所定の静止画像を切り出す静止画像切出し手段と、前記静止画像切出し手段により切り出した静止画像を前記画像形成媒体上に形成する画像生成手段とを具備することを特徴とする画像形成装置が記載されている。
しかしながら、動画像を用紙に搭載された記録媒体に記憶するため、動画像が失われることはないが、記録媒体が搭載された特殊な用紙を使用しなければならず、コストが高くなってしまうといった問題がある。
特開2007−80154号公報 特開2007−83663号公報
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理システムを提供することである。
この発明の他の目的は、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理装置を提供することである。
この発明のさらに他の目的は、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理方法を提供することである。
この発明のさらに他の目的は、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理プログラムを提供することである。
上述した目的を達成するためにこの発明のある局面によれば、画像処理システムは、画像処理装置と、該画像処理装置を制御する制御装置とを含む画像処理システムであって、制御装置は、動画像を含む構造化文書を取得する構造化文書取得手段と、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像と、フレームが静止画像中に配置された位置を示す位置情報と、動画像を識別するための動画像識別情報とを含むプリントデータを生成するプリントデータ生成手段と、生成されたプリントデータと動画像とを画像処理装置に送信する送信手段と、を備え、画像処理装置は、画像形成時において、制御装置からプリントデータと動画像を受信する受信手段と、受信された動画像をプリントデータに含まれる動画像識別情報と関連付けて記憶する記憶手段と、受信されたプリントデータに含まれる静止画像に、記憶された動画像の動画像識別情報と、受信されたプリントデータに含まれる位置情報とを埋め込む埋込手段と、静止画像を記録媒体に形成する画像形成手段と、を備え、画像読取時において、記録媒体に形成された静止画像を読み取る読取手段と、読み取られた静止画像から動画像識別情報と位置情報とを抽出する抽出手段と、抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する再構成手段と、を備える。
この局面に従えば、画像処理装置が画像形成時において、制御装置からプリントデータと動画像が受信され、受信された動画像がプリントデータに含まれる動画像識別情報と関連付けて記憶され、受信されたプリントデータに含まれる静止画像に、記憶された動画像の動画像識別情報と、受信されたプリントデータに含まれる位置情報とが埋め込まれ、静止画像が記録媒体に形成される。さらに、画像読取時において、記録媒体に形成された静止画像が読み取られ、読み取られた静止画像から動画像識別情報と位置情報とが抽出され、抽出された動画像識別情報で特定される動画像が取得され、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書が生成される。このため、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理システムを提供することができる。
好ましくは、制御装置は、動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、プリントデータ生成手段は、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうち受け付けられた指示で選択されるフレームを配置した静止画像を含むプリントデータを生成する、好ましくは、プリントデータ生成手段は、取得された構造化文書において動画像の再生を開始する開始フレームが設定されている場合、動画像に含まれる複数のフレームのうち開始フレームを配置した静止画像を含むプリントデータを生成する。
好ましくは、プリントデータ生成手段は、静止画像に配置されたフレームを特定するフレーム識別情報をさらに含むプリントデータを生成し、埋込手段は、受信されたプリントデータに含まれる静止画像に、受信されたプリントデータに含まれるフレーム識別情報をさらに埋め込み、抽出手段は、読み取られた静止画像からフレーム識別情報をさらに抽出し、再構成手段は、生成された構造化文書が表示される際に、動画像が抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む。
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、生成された構造化文書が表示される際に、動画像が受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段と、を含む。
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、受け付けられた表示設定に従って動画像が再生されるように動画像を変更する変更手段と、を含む。
この発明の他の局面によれば、画像処理装置は、動画像を含む構造化文書を取得する構造化文書取得手段と、取得された構造化文書に含まれる動画像を該動画像を識別するための動画像識別情報を付与して記憶する記憶手段と、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成する静止画像生成手段と、生成された静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込む埋込手段と、静止画像を記録媒体に形成する画像形成手段と、記録媒体に形成された静止画像を読み取る読取手段と、読み取られた静止画像から動画像識別情報と位置情報とを抽出する抽出手段と、抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する再構成手段と、を備える。
この局面に従えば、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理装置を提供することができる。
好ましくは、動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、静止画像生成手段は、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうち受け付けられた指示で選択されるフレームを配置した静止画像を生成する。
好ましくは、静止画像生成手段は、取得された構造化文書において動画像の再生を開始する開始フレームが設定されている場合、動画像に含まれる複数のフレームのうち開始フレームを配置した静止画像を生成する。
好ましくは、埋込手段は、生成された静止画像に、該静止画像に配置されたフレームを特定するフレーム識別情報をさらに埋め込み、抽出手段は、読み取られた静止画像からフレーム識別情報をさらに抽出し、再構成手段は、生成された構造化文書が表示される際に、動画像が抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む。
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、生成された構造化文書が表示される際に、動画像が受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段とを含む。
好ましくは、再構成手段は、動画像を表示するための表示設定を受け付ける表示設定受付手段と、受け付けられた表示設定に従って動画像が再生されるように動画像を変更する変更手段と、を含む請求項7に記載の画像処理装置。
この発明のさらに他の局面によれば、画像処理方法は、動画像を含む構造化文書を取得するステップと、取得された構造化文書に含まれる動画像を記憶するステップと、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、生成された静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込むステップと、静止画像を記録媒体に形成するステップと、記録媒体に形成された静止画像を読み取るステップと、読み取られた静止画像から動画像識別情報と位置情報とを抽出するステップと、抽出された動画像識別情報で特定される動画像を取得するステップと、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成するステップと、を含む。
この局面に従えば、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理方法を提供することができる。
この発明のさらに他の局面によれば、画像処理プログラムは、動画像を含む構造化文書を取得するステップと、取得された構造化文書に含まれる動画像を記憶するステップと、取得された構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、生成された静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込むステップと、静止画像を記録媒体に形成するステップと、記録媒体に形成された静止画像を読み取るステップと、読み取られた静止画像から動画像識別情報と位置情報とを抽出するステップと、抽出された動画像識別情報で特定される動画像を取得するステップと、読み取られた静止画像の抽出された位置情報で特定される位置に取得された動画像が表示されるように前期静止画像に動画像を関連付けた構造化文書を生成するステップと、をコンピュータに実行させる。
この局面に従えば、構造化文書に含まれる動画像が失われることなく構造化文書の画像を形成することが可能な画像処理プログラムを提供することができる。
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
図1は、本発明の実施の形態の1つにおける画像処理システムの全体概要を示す図である。図1を参照して、画像処理システム1は、それぞれがネットワーク2に接続され、画像処理装置として機能するMFP(Multi Function Peripheral)100,101,102と、MFP100,101,102を制御する制御装置として機能するパーソナルコンピュータ(以下「PC」という)200とを含む。
ネットワーク2は、ローカルエリアネットワーク(LAN)であり、インターネットにゲートウェイを介して接続されている。ネットワーク2の接続形態は有線または無線を問わない。またネットワーク2は、LANに限らず、公衆交換電話網(Public Switched Telephone Networks)を用いたネットワーク、ワイドエリアネットワーク(WAN)、インターネットであってもよい。
PC200は、一般的なコンピュータであり、PC200には、MFP100,101,102を制御するためのドライバプログラムと、Webサーバに記憶されたWebページをダウンロードするためのブラウジングプログラムとがインストールされている。このため、PC200は、プリントデータをMFP100,101,102のいずれかに送信し、そのプリントデータの画像を形成させることができる。また、PC200は、インターネットに接続されたWebサーバからHTMLまたはXML等のマークアップ言語で記述されたWebページ、またはPDFのフォーマットのデータをダウンロードし、表示またはプリント等の処理をすることができる。マークアップ言語で記述されたWebページ、またはPDFのフォーマットのデータは、構造化文書である。また、PC200が処理可能な構造化文書は、マークアップ言語で記述されたWebページ、PDF(Portable Document Format)に限らず、例えば、XPS(XML Paper Specification)等のフォーマットのデータを含む。
MFP100,101,102各々は、原稿を読取るためのスキャナ装置、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成装置およびファクシミリ装置を含み、画像読取機能、複写機能、ファクシミリ送受信機能を備えている。また、MFP100,101,102は、構成及び機能が同じなので以下の説明では特に言及しない限りMFP100を例に説明する。
図2は、MFPの外観を示す斜視図である。図3は、MFPのハードウェア構成の一例を示すブロック図である。図2および図3を参照して、MFP100は、メイン回路110と、原稿を読み取るための原稿読取部130と、原稿を原稿読取部130に搬送するための自動原稿搬送装置120と、原稿読取部130が原稿を読み取って出力する静止画像を用紙等に形成するための画像形成部140と、画像形成部140に用紙を供給するための給紙部150と、ユーザインターフェースとしての操作パネル160と、を含む。メイン回路110は、CPU111と、通信インターフェース(I/F)部112と、ROM113と、RAM114と、EEPROM(Electronically Erasable and Programmable ROM)115と、大容量記憶装置としてのハードディスクドライブ(HDD)116と、ファクシミリ部117と、フラッシュメモリ118Aが装着されるカードインターフェース(I/F)118とを含む。CPU111は、自動原稿搬送装置120、原稿読取部130、画像形成部140、給紙部150および操作パネル160と接続され、MFP100の全体を制御する。
ROM113は、CPU111が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。RAM114は、CPU111がプログラムを実行する際の作業領域として用いられる。また、RAM114は、原稿読取部130から連続的に送られてくる静止画像を一時的に記憶する。
操作パネル160は、MFP100の上面に設けられ、表示部160Aと操作部160Bとを含む。表示部160Aは、液晶表示装置(LCD)、有機ELD(Electroluminescence Display)等の表示装置であり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。操作部160Bは、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受付ける。操作部160Bは、表示部160A上に設けられたタッチパネルをさらに含む。
通信I/F部112は、MFP100をネットワーク2に接続するためのインターフェースである。CPU111は、通信I/F部112を介してMFP101,102またはPC200との間で通信し、データを送受信する。また、通信I/F部112は、ネットワーク2を介してインターネットに接続されたコンピュータと通信が可能である。
ファクシミリ部117は、公衆交換電話網(PSTN)に接続され、PSTNにファクシミリデータを送信する、またはPSTNからファクシミリデータを受信する。ファクシミリ部117は、受信したファクシミリデータを、HDD116に記憶する、または画像形成部140に出力する。画像形成部140は、ファクシミリ部117により受信されたファクシミリデータを用紙に印刷する。また、ファクシミリ部117は、HDD116に記憶されたデータをファクシミリデータに変換して、PSTNに接続されたファクシミリ装置に送信する。
カードI/F118は、フラッシュメモリ118Aが装着される。CPU111は、カードI/F118を介してフラッシュメモリ118Aにアクセス可能である。CPU111は、カードI/F118に装着されたフラッシュメモリ118Aに記録されたプログラムをRAM114にロードして実行する。なお、CPU111が実行するプログラムは、フラッシュメモリ118Aに記録されたプログラムに限られず、HDD116に記憶されたプログラムをRAM114にロードして実行するようにしてもよい。この場合、ネットワーク2に接続された他のコンピュータが、MFP100のHDD116に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、MFP100が、ネットワーク2に接続された他のコンピュータからプログラムをダウンロードして、そのプログラムをHDD116に記憶するようにしてもよい。ここでいうプログラムは、CPU111が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
図4は、PCのハードウェア構成の一例を示すブロック図である。図4を参照して、PC200は、PC200の全体を制御するためのCPU201と、CPU201が実行するプログラム等を記憶するためのROM202と、CPU201の作業領域として用いられるRAM203と、PC200をネットワーク2に接続するためのネットワークI/F204と、大容量記憶装置としてのHDD205と、表示部206と、ユーザの操作の入力を受付ける操作部207とを含む。
図5は、PCが備えるCPUが有する機能の一例を示す機能ブロック図である。図5を参照して、PC200が備えるCPU201は、構造化文書を取得する構造化文書取得部211と、構造化文書に基づいてプリントデータを生成するプリントデータ生成部215と、プリントデータをMFP100,101,102のいずれかに送信するプリントデータ送信部217と、構造化文書から動画像を抽出する動画像抽出部219と、動画像をMFP100,101,102のいずれかに送信する動画像送信部221と、動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付部213と、を含む。
構造化文書取得部211は、ユーザが操作部207に入力するプリント操作に従って、構造化文書を特定し、特定された構造化文書を取得する。例えば、HDD205に記憶された構造化文書をプリントする操作が受付られた場合、HDD205に記憶された構造化文書を読み出すことにより、取得する。また、ブラウジングプログラムが実行されている場合に、WebサーバからダウンロードされたWebページをプリントする操作が受け付けられた場合、ダウンロードされてRAM203に一時記憶されているWebページを取得する。構造化文書取得部211は、取得された構造化文書をプリントデータ生成部215および動画像抽出部219に出力する。
動画像抽出部219は、構造化文書取得部211から入力される構造化文書が、動画像を含む場合、構造化文書から動画像を抽出する。また、動画像抽出部219は、構造化文書取得部211から入力される構造化文書が動画像をリンクしている場合、リンクされている動画像を、取得する。構造化文書が動画像をリンクしている場合、構造化文書は、動画像が記憶されているネットワーク上の位置を示す位置情報、例えば、ファイル名またはURL(Uniform Resource Locator)を含む。動画像抽出部219は、構造化文書に含まれる位置情報に記憶されている動画像を取得する。たとえば、位置情報が、インターネットに接続されているサーバに記憶されている動画像のURLを示す場合、ネットワークI/F204を介してサーバからそのURLで特定される動画像をダウンロードする。動画像抽出部219は、構造化文書から抽出された動画像、または、構造化文書に含まれる位置情報に基づいて取得された動画像に、その動画像を識別するための動画像識別情報を付与する。そして、動画像と動画像識別情報との組を、動画像送信部221に出力する。動画像識別情報は、PC200内で識別可能情報であればよく、例えば、ファイル名である。さらに、動画像抽出部219は、動画像識別情報と、その動画像が構造化文書を表示した表示画像中で表示される位置を示す位置情報との組を、プリントデータ生成部215に出力する。位置情報は、構造化文書を表示した表示画像中の矩形の領域を特定する情報であり、例えば、矩形の2つの対角の座標とすればよい。
動画像抽出部219は、構造化文書が、複数の動画像を含む場合、複数の動画像をそれぞれ抽出し、複数の動画像それぞれについて、動画像と動画像識別情報との組を、動画像送信部221に出力し、動画像識別情報と位置情報との組をプリントデータ生成部215に出力する。
プリントデータ生成部215は、構造化文書取得部211から入力される構造化文書に従ってプリントデータを生成し、生成されたプリントデータをプリントデータ送信部217に出力する。具体的には、プリントデータ生成部215は、動画像抽出部219から動画像識別情報と位置情報との組が入力される。プリントデータ生成部215は、まず、構造化文書を表示した表示画像中であって、動画像抽出部219から入力される組に含まれる位置情報で特定される位置に、動画像抽出部219から入力される組に含まれる動画像識別情報で特定される動画像に含まれる複数のフレームのうちから選択された1つのフレームを配置した静止画像を生成する。したがって、動画像抽出部219から入力される動画像識別情報と位置情報との組に含まれる位置情報は、静止画像中でフレームが配置される位置を示す。
プリントデータ生成部215は、動画像抽出部219から動画像識別情報と位置情報との組が複数入力される場合、組ごとに構造化文書を表示した表示画像中の位置情報で特定される位置に、動画像識別情報で特定される動画像に含まれる複数のフレームのうちから選択された1つのフレームを配置した静止画像を生成する。
プリントデータ生成部215は、動画像に含まれる複数のフレームのうちからいずれのフレームを選択するかは、構造化文書が、動画像の再生を開始する開始フレームを特定するためのフレーム識別情報を含む場合、該フレーム識別情報で特定されるフレームを選択する。フレーム識別情報は、動画像に含まれる複数のフレームそれぞれを識別するための情報である。また、後述する選択指示受付部213からユーザにより選択されたフレームのフレーム識別情報が入力される場合には、構造化文書にフレーム識別情報が含まれているか否かにかかわらず、選択指示受付部213から入力されるフレーム識別情報で特定されるフレームを選択する。構造化文書にフレーム識別情報が含まれておらず、かつ、選択指示受付部213からフレーム識別情報が入力されない場合、プリントデータ生成部215は、動画像に含まれる複数のフレームのうち最初の第1番目のフレームを選択する。プリントデータ生成部215は、動画像抽出部219から動画像識別情報と位置情報との組が複数入力される場合、複数の組にそれぞれ含まれる複数の動画ごとに、フレームを選択する。
さらに、プリントデータ生成部215は、生成された静止画像と、動画像抽出部219から入力される動画像識別情報と位置情報との組を含むプリントデータを生成する。動画像抽出部219から複数の組が入力される場合、複数の組それぞれに含まれる位置情報および動画像識別情報を含むプリントデータを生成する。また、ここでのプリントデータは、PDL(Page Description Language)等のMFP100,101,102のいずれかにおいて解釈可能なプリントするためのビットマップイメージを作成するための言語で記述される。
また、プリントデータ生成部215は、構造化文書にフレーム識別情報が含まれている場合、または、選択指示受付部213からフレーム識別情報が入力される場合は、そのフレーム識別情報をさらに含むプリントデータを生成する。フレーム情報は、動画像抽出部219から組と関連付けて入力されるので、動画像抽出部219から複数の組が入力される場合、複数の組それぞれに含まれる位置情報および動画像識別情報と、その組に関連付けられたフレーム情報とが関連付けられたプリントデータを生成する。
選択指示受付部213は、ユーザが操作部207に、動画像に含まれる複数のフレームのうちから1つを選択する操作を入力すると、動画像に含まれる複数のフレームのうちからユーザにより選択された1つのフレームのフレーム識別情報をプリントデータ生成部215に出力する。例えば、動画像を表示部206に表示し、ユーザが再生を停止する操作を選択する操作として受け付ける。再生を停止する操作を受け付ける時点に表示されているフレームのフレーム識別情報をプリントデータ生成部215に出力する。
プリントデータ送信部217は、ユーザが操作部207で、MFP100,101,102のいずれかを指定する操作を入力すると、MFP100,101,102のうちから指定されたものに、プリントデータを送信する。ユーザがMFP100,101,102のいずれかを指定する操作および構造化文書を指定する操作は、構造化文書をプリントさせる操作の一部である。
動画像送信部221は、MFP100,101,102のうちプリントデータを送信したものに、動画像抽出部219から入力される動画像を送信する。送信される動画像は、それに付された動画像識別情報、ここではファイル名がともに送信される。このため、MFP100,101,102のうちプリントデータおよび動画像を受信する装置は、受信されたプリントデータに含まれる動画像識別情報から、受信される動画像を特定することができる。特に、構造化文書が複数の動画像を含む場合、複数の動画像がMFP100,101,102のうちプリントデータを送信したものに送信されるが、MFP100,101,102のうちプリントデータを受信する装置は、プリントデータに含まれる複数の動画像識別情報から複数の動画像をそれぞれ特定することができる。
図6は、MFPが備えるCPUが有する機能の一例を示す機能ブロック図である。図6を参照して、MFP100が備えるCPU111は、PC200からプリントデータを受信するプリントデータ受信部51と、PC200から動画像を受信する動画像受信部57と、受信された動画像を記憶する動画像記憶部59と、プリントデータに含まれる静止画像に動画像識別情報と位置情報とを埋め込む埋込部53と、静止画像を用紙に形成する画像形成制御部55と、原稿読取部130が原稿を読み取って出力する静止画像を取得する読取画像取得部61と、静止画像からそれに埋め込まれた情報を抽出する抽出部63と、抽出された情報に基づいて動画像を取得する動画像取得部65と、静止画像と動画像とから構造化文書を構成する再構成部67と、を含む。
上述したようにPC200は、動画像を含む構造化文書をMFP100でプリントする指示が入力されると、プリントデータと動画像をMFP100に送信する。プリントデータ受信部51は、通信I/F部112がPC200から送信されてくるプリントデータを受信すると、そのプリントデータを取得し、取得されたプリントデータを埋込部53に出力する。このプリントデータは、上述したように、構造化文書を表示する表示画像に、動画像に含まれる複数のフレームのうちから選択された1つのフレームを、動画像が表示される位置に配置した静止画像と、静止画像中でフレームが配置される位置を示す位置情報と、動画像識別情報と、を含む。また、プリントデータは、静止画像に配置されるフレームを識別するためのフレーム識別情報を含む場合がある。
動画像受信部57は、通信I/F部112がPC200から送信されてくる動画像と動画像識別情報とを受信すると、その動画像および動画像識別情報を取得し、取得された動画像および動画像識別情報を動画像記憶部59に出力する。なお、動画像受信部57が、プリントデータに含まれる動画像識別情報に基づいて、PC200から動画像をダウンロードするようにしてもよい。
動画像記憶部59は、動画像受信部57から入力される動画像をそれとともに入力される動画像識別情報と関連付けてHDD116に記憶する。この時点で、動画像識別情報は、MFP100において別のデータと区別可能な情報である。動画像記憶部59は、記憶された動画像を識別するための動画像識別情報(例えば、ファイル名)を埋込部53に出力する。
動画像記憶部59が埋込部53に出力する動画像識別情報は、プリントデータに含まれる動画像識別情報と同じである。このため、プリントデータに複数の動画像識別情報が含まれる場合があり、この場合には複数の動画像と動画像識別情報とがPC200から受信されるが、受信される複数の動画像それぞれは、それとともに受信される動画像識別情報によって、プリントデータに含まれる複数の動画像識別情報のいずれかに特定される。このため、HDD116に記憶される複数の動画像それぞれは、プリントデータに含まれる動画像識別情報により特定される。
なお、ここでは、動画像をMFP100のHDD116に記憶するようにしたが、別のMFP101,102に記憶するようにしてもよいし、ネットワーク2に接続されたファイルサーバに記憶するようにしてもよい。この場合、動画像識別情報は、それが記憶される装置を識別するための装置識別情報、例えば、ネットワーク2におけるアドレス情報を含む。
埋込部53は、プリントデータ受信部51から入力されるプリントデータのうちから静止画像と、動画像識別情報と、位置情報とを抽出する。また、プリントデータがフレーム識別情報を含む場合にはフレーム識別情報をさらに抽出する。そして、静止画像に、位置情報と、動画像識別情報と、を地紋情報として埋め込む。なお、プリントデータが複数の動画像識別情報と位置情報との組を含む場合、動画像識別情報と位置情報とを関連付けて埋め込む。
また、プリントデータからフレーム識別情報が抽出される場合には、そのフレーム識別情報をさらに静止画像に埋め込む。なお、静止画像に、情報を埋め込む技術は、地紋の画像として埋め込むものに限定されず、電子透かし技術を用いても良いし、バーコードを追加してもよい。埋込部53は、位置情報、動画像識別情報、それがプリントデータに含まれる場合にはフレーム識別情報が埋め込まれた静止画像を画像形成制御部55に出力する。画像形成制御部55は、画像形成部140を制御して、埋込部53から入力される静止画像を用紙に形成させる。
読取画像取得部61は、原稿読取部130が原稿を読み取って出力する静止画像を取得し、取得された静止画像を抽出部63および再構成部67に出力する。原稿読取部130が、画像形成部140により上記静止画像が形成された原稿を読み取る場合、原稿読取部130から取得される静止画像は、少なくとも位置情報と動画像識別情報とが埋め込まれている。また、静止画像は、フレーム識別情報が埋め込まれている場合がある。
抽出部63は、入力される静止画像から、それに位置情報および動画像識別情報が埋め込まれているか否かを判断し、埋め込まれていればそれらを静止画像から抽出し、抽出された動画像識別情報を動画像取得部65に出力し、抽出された動画像識別情報と位置情報との組を再構成部67に出力する。また、抽出部63は、静止画像にフレーム識別情報が埋め込まれている場合、それを静止画像から抽出し、抽出されたフレーム識別情報を再構成部67に出力する。抽出部63は、静止画像から複数の動画像識別情報が抽出される場合、複数の動画像識別情報それぞれについて、動画像識別情報と、その動画像識別情報と関連付けられた位置情報と、それが抽出される場合にはフレーム識別情報との組を再構成部67に出力する。
動画像取得部65は、抽出部63から入力される動画像識別情報で特定される動画像を、HDD116から読出し、読み出された動画像と動画像識別情報との組を再構成部67に出力する。
再構成部67は、読取画像取得部61から入力される静止画像、動画像取得部65から入力される動画像と動画像識別情報との組、および抽出部63から入力される動画像識別情報、位置情報およびフレーム識別情報との組に基づいて構造化文書を生成する。具体的には、静止画像の位置情報で特定される位置に、動画像識別情報で特定される動画像が表示されるように設定した構造化文書を生成する。位置情報で特定される位置に動画像を含む構造化文書を生成してもよいし、動画像をリンクする構造化文書を生成するようにしてもよい。また、再構成部67は、抽出部63からフレーム識別情報が入力される場合には、そのフレーム識別情報をさらに用いて構造化文書を生成する。具体的には、生成された構造化文書が表示される際に、動画像がフレーム識別情報で特定されるフレームから再生されるように構造化文書を設定する。
また、再構成部67は、構造化文書を表示するための表示設定を受け付ける表示設定受付部73と、表示設定にしたがって動画像を変更する変更部75と、表示設定に従って構造化文書を設定する設定部71と、を含む。表示設定受付部73は、表示設定画面を表示部160Aに表示し、ユーザが操作部160Bに入力する表示設定を受け付ける。表示設定画面は、動画像の表示サイズを設定する領域と、動画像の画質を設定する領域と、動画像の再生を開始する開始フレームを設定する領域とを含む。表示設定受付部73は、動画像の表示サイズが設定されると、その表示サイズの解像度に動画像を変更する指示を、変更部75に出力する。表示設定受付部73は、動画像の画質が設定されると、その画質に動画像を変更する指示を、変更部75に出力する。画質は、例えば、動画像の色数、階調を含む。変更部75は、表示設定受付部73から変更指示が入力されると、変更指示にしたがって、動画像取得部65から入力される動画像の解像度または画質を変更する。
表示設定受付部73は、開始フレームが設定されると、開始フレームのフレーム識別情報を設定部71に出力する。設定部71は、動画像が再生される開始フレームを設定する。設定部71は、抽出部63からフレーム識別情報が入力される場合には、そのフレーム識別情報で特定されるフレームを開始フレームに設定する。また、設定部71は、表示設定受付部73からフレーム識別情報が入力される場合、抽出部63からフレーム識別情報が入力されるか否かにかかわらず、表示設定受付部73からフレーム識別情報で特定されるフレームを開始フレームに設定する。さらに、設定部71は、表示設定受付部73からフレーム識別情報が入力されず、かつ、抽出部63からフレーム識別情報が入力されない場合、動画像の最初の第1番目のフレームを開始フレームに設定する。
図7は、プリント指示処理の流れの一例を示すフローチャートである。プリント指示処理は、PC200が備えるCPU201が、ドライバプログラムを実行することにより、CPU201により実行される処理である。ドライバプログラムは、画像処理プログラムの一部である。図7を参照して、CPU201は、プリントの対象となるデータの指定を受け付けたか否かを判断する(ステップS01)。プリントの対象となるプリントデータの指定を受け付けるまで待機状態となり(ステップS01でNO)、プリントの対象となるデータの指定を受け付けると処理をステップS02に進める。すなわち、プリント指示処理は、プリントの対象となるデータが指定されることを条件に実行される処理である。ブラウジングプログラムが実行され、Webページが表示されている状態で、プリントを指示する操作が入力されると、表示されているWebページがプリントの対象となるデータとして指定される。また、ユーザがHDD205に記憶されているデータをアプリケーションプログラムで表示している状態、プリントを指示する操作が入力されると、表示されているデータがプリントの対象となるデータとして指定される。またはHDD205に記憶されているデータを指定してプリントを指示する操作が入力されると、指定されたデータがプリントの対象となるデータとして指定される。
ステップS02においては、プリントの対象となるデータが構造化文書か否かを判断する。構造化文書ならば処理をステップS03に進め、そうでなければ処理をステップS14に進める。ステップS03においては、プリントの対象となるデータが、動画像を含むか否かを判断する。データが動画像を含む構造化文書の場合、または、データが動画像をリンクする構造化文書の場合、データが動画像を含むと判断する。プリントの対象となるデータが動画像を含むならば処理をステップS04に進めるが、そうでなければ処理をステップS14に進める。
ステップS04においては、動画像を抽出する。構造化文書が動画像を含んでいればその動画像を構造化文書から抽出し、構造化文書が動画像をリンクしていれば、リンクされている動画像を取得する。この段階で、抽出された動画像にそれを識別するための動画像識別情報を付与する。
ステップS05においては、抽出された動画像が再生される際に開始するフレームを指示する操作を受け付けたか否かを判断する。例えば、動画像を表示部206に表示し、ユーザが再生を停止する操作を入力すると、そのときに表示されているフレームを指示する操作として受け付ける。フレームを指示する操作を受け付けたならば処理をステップS06に進めるが、そうでなければ処理をステップS07に進める。ステップS06においては、指示されたフレームを開始フレームとして選択し(ステップS06)、処理をステップS10に進める。プリントを指示するユーザが、動画像を開始するフレームを変更することができる。このため、プリントを指示するユーザが再構成される構造化文書を変更することができる。
ステップS07においては、構造化文書がフレーム識別情報を含むか否かを判断する。構造化文書に動画像の再生を開始する開始フレームのフレーム識別情報が含まれているか否かを判断する。そのようなフレーム識別情報が含まれていれば、処理をステップS08に進めるが、そうでなければ処理をステップS09に進める。ステップS08においては、構造化文書に含まれるフレーム識別情報で特定されるフレームを選択し、処理をステップS10に進める。再構成された構造化文書に開始フレームが定義されている場合には、その開始フレームをそのまま次に画像形成される静止画像に引き継ぐことができる。ステップS09においては、動画像の最初の第1番目のフレームを選択し、処理をステップS10に進める。
ステップS10においては、ステップS06、ステップS08またはステップS09において選択されたフレームを表示画像の動画像が表示される位置に配置した静止画像を生成する。
そして、プリントデータを生成する(ステップS11)。生成されるプリントデータは、ここではPJL(Printer Job Language)またはPDL(Page Description Language)で記述され、静止画像と、フレームが配置されている静止画像中の位置を示す位置情報と、ステップS04において抽出された動画像を識別するための動画像識別情報とを含む。プリントデータに動画像識別情報を含めるのは、構造化文書が複数の動画像を含む場合、静止画像中で複数の動画像がそれぞれ対応する位置を特定するためである。従って、構造化文書が1つの動画像しか含まない場合は、プリントデータに動画像識別情報を含めないようにしてもよい。
ステップS12においては、生成されたプリントデータを、MFP100,101,102のうち、ユーザが操作部160Bにおいて指定したものに送信し、処理を終了する。ここでは、MFP100が指定された場合を例に説明する。表示部206に、MFP100,101,102をそれぞれ識別するための装置識別情報を表示し、装置識別情報のいずれかの指定を受け付ける。ステップS13においては、ステップS04において抽出された動画像を、プリントデータが送信されたMFP100に送信する。これにより、MFP100にプリントデータと動画像とが送信される。
一方、ステップS14においては、ステップS01において指定されたデータをプリントするためのプリントデータを生成する。そして、次のステップS15において、プリントデータをMFP100,101,102のうち、ユーザが操作部160Bにおいて指定したものに送信し、処理を終了する。
図8は、プリント処理の流れの一例を示すフローチャートである。プリント処理は、MFP100,101、102それぞれが備えるCPU111が、プリントプログラムを実行することにより、CPU111により実行される処理である。プリントプログラムは、画像処理プログラムの一部である。ここでは、MFP100がプリント処理を実行する場合を例に説明する。図8を参照して、MFP100が備えるCPU111は、PC200からプリントデータを受信するまで待機状態となり(ステップS51でNO)、プリントデータを受信すると(ステップS51でYES)、処理をステップS52に進める。すなわち、プリント処理は、MFP100がプリントデータを受信することを条件に実行される処理である。
ステップS52においては、受信されたプリントデータから動画像識別情報が抽出されたか否かを判断する。動画像識別情報が抽出されたならば処理をステップS53に進めるが、そうでなければ、処理をステップS61に進める。
ステップS53においては、プリントデータを受信したPC200から動画像を受信するまで待機状態となり(ステップS53でNO)、動画像を受信すると(ステップS53でYES)、処理をステップS54に進める。なお、ステップS52において、複数の動画像識別情報が抽出される場合には、複数の動画像識別情報にそれぞれ対応する複数の動画像のすべてを受信するまで待機状態となり、複数の動画像のすべてを受信すると処理をステップS54に進める。ステップS54においては、受信された動画像をHDD116に記憶する。動画像をHDD116に記憶する際に、動画像に動画像識別情報を付与して記憶する。PC200から複数の動画像が受信される場合に、HDD116に記憶される複数の動画像を区別するためである。
そして、ステップS51において受信されたプリントデータから位置情報を抽出し(ステップS55)、静止画像を抽出する(ステップS56)。さらに、ステップS51において受信されたプリントデータからフレーム識別情報が抽出されたか否かを判断する(ステップS57)。フレーム識別情報が抽出されたならば処理をステップS58に進めるが、そうでなければ処理をステップS59に進める。
ステップS58においては、ステップS56において抽出された静止画像に、ステップS55において抽出された位置情報と、ステップS54において記憶された動画像の動画像識別情報と、ステップS57において抽出されたフレーム識別情報とを、地紋画像として埋め込み、処理をステップS60に進める。なお、ステップS52において、複数の動画像識別情報が抽出される場合には、位置情報と、動画像識別情報と、フレーム識別情報とを関連付けて埋め込む。一方、ステップS59においては、ステップS56において抽出された静止画像に、ステップS55において抽出された位置情報と、ステップS54において記憶された動画像の動画像識別情報とを、地紋画像として埋め込み、処理をステップS60に進める。この際、位置情報と動画像識別情報とを関連付けて埋め込む。
ステップS60においては、静止画像をプリントする。具体的には、静止画像を画像形成部140に出力し、静止画像を用紙に形成させる。これにより、位置情報と、第2動画像識別情報と、を少なくとも含む地紋画像が合成された静止画像が用紙に形成される。
一方、ステップS61においては、ステップS51において受信されたプリントデータをプリントし、処理を終了する。
図9は、再構成処理の流れの一例を示すフローチャートである。再構成処理は、MFP100,101,102それぞれが備えるCPU111が再構成プログラムを実行することにより、CPU111により実行される処理である。再構成プログラムは、画像処理プログラムの一部である。ここでは、MFP100が再構成処理を実行する場合を例に説明する。
図9を参照して、MFP100が備えるCPU111は、原稿を読み取る(ステップS71)。ユーザが、自動原稿搬送装置120に原稿をセットし、スタートボタンを押下すれば、原稿読取部130が原稿に形成された画像を読み取る。ここでは、原稿読取部130が読み取る原稿は、図8において説明したプリント処理において静止画像が形成された用紙である。原稿読取部130は、原稿を読み取ると、その原稿に形成された静止画像の電子データを出力するので、電子データとしての静止画像が取得される。
次のステップS72においては、原稿を読み取って得られる静止画像に情報が埋め込まれているか否かを判断する。静止画像に情報が埋め込まれていれば処理をステップS73に進めるが、そうでなければ処理をステップS91に進める。ステップS91においては、静止画像をHDD116に記憶し、処理を終了する。
ステップS73においては、静止画像に埋め込まれている動画像識別情報を抽出する。そして、動画像識別情報で特定される動画像を、HDD116から読み出す(ステップS74)。図8に示したプリント処理において、ステップS54において動画像に動画像識別情報を付してHDD116に記憶したので、HDD116には、静止画像から抽出された動画像識別情報で特定される動画像が記憶されている。なお、プリント処理が別のMFP101,102で実行された場合、例えばMFP101において実行された場合は、動画像がプリント処理の実行されたMFP101に記憶されている。この場合には、動画像識別情報に装置を識別するための装置識別情報を含めるようにし、動画像が記憶されている装置、MFP101から動画像を取得するようにすればよい。なお、MFP101に記憶される動画像は、MFP100からアクセス可能なように、MFP101が備えるHDDにおいてアクセス制限のない位置に記憶される。
次のステップS75においては、静止画像に埋め込まれている位置情報を抽出する。そして、ステップS76においては、静止画像のフレーム部分を動画像に戻す指示を受け付けたか否かを判断する。ユーザが操作部160Bにフレーム部分を動画像に戻す指示を入力下か否かで判断する。フレーム部分を動画像に戻す指示を受け付けたならば処理をステップS77に進めるが、そうでなければ処理をステップS91に進め、静止画像をHDD116に記憶して処理を終了する。
ステップS77においては、構造化文書を再構成するための設定を開始する。表示設定画面を表示部160Aに表示し、ユーザが操作部160Bに入力する表示設定を受け付けたならば処理をステップS79に進めるが、そうでなければ処理をステップS87に進める。ステップS79においては、受け付けられた表示設定がサイズを変更する設定か否かを判断する。サイズを変更する設定ならば、処理をステップS80に進め、そうでなければステップS80をスキップして処理をステップS81に進める。ステップS80においては、ステップS74において読み出された動画像の解像度を、変更されたサイズで表示するための解像度に変更し、処理をステップS81に進める。
ステップS81においては、受け付けられた表示設定が画質を変更する設定か否かを判断する。画質を変更する設定ならば、処理をステップS82に進め、そうでなければステップS82をスキップして処理をステップS83に進める。ステップS82においては、ステップS74において読み出された動画像、またはステップS80において解像度が変更された場合には、解像度が変更された後の動画像の画質を設定に従って変更し、処理をステップS83に進める。
ステップS83においては、受け付けられた表示設定が開始フレームの設定か否かを判断する。開始フレームの設定ならば、処理をステップS84に進め、そうでなければ処理をステップS85に進める。開始フレームの設定は、開始フレームを特定するためのフレーム識別情報を含む。例えば、動画像を表示部160Aに表示し、ユーザが再生を停止する指示を入力すれば開始フレームの設定を受け付ける。そして、ユーザが再生を停止する指示を入力した時点で表示されているフレームを開始フレームに設定し、処理をステップS87に進める。具体的には、生成される構造化文書が表示されて、動画像が再生される際に、開始フレームから再生が開始されるように設定する。なお、動画像に含まれる複数のフレームのうち開始フレームより前のフレームを削除してもよい。静止画像が形成された用紙を読み取る指示をしたユーザが、動画像の開始フレームを決定することができる。このため、静止画像が形成された用紙を読み取る指示をしたユーザの意向を尊重することができる。
ステップS85においては、静止画像に埋め込まれたフレーム識別情報を抽出したか否かを判断する。フレーム識別情報を抽出したならば処理をステップS86に進めるが、そうでなければステップS86をスキップして処理をステップS87に進める。ステップS86においては、静止画像から抽出されたフレーム識別情報のフレームを開始フレームに設定し、処理をステップS87に進める。読み取られた用紙に静止画像を形成する指示をしたユーザが、動画像の開始フレームを決定することができる。このため、静止画像の形成を指示したユーザの意向を尊重することができる。
ステップS87においては、設定が完了したか否かを判断する。ユーザが設定を終了する指示を操作部160Bに入力すれば、設定が完了したと判断する。設定が完了したならば処理をステップS88に進め、そうでなければ処理をステップS78に戻す。
ステップS88においては、動画像をステップS75において抽出された位置情報で特定される静止画像中の位置に表示されるように設定する。ステップS80において解像度が変更されている場合には、動画画像が位置情報で特定される領域の任意の領域に表示されるように設定する。ステップS73において複数の動画像識別情報が抽出された場合、複数の動画像識別情報で特定される複数の動画像それぞれが、それに対応する位置情報で特定される位置に表示されるように設定する。
ステップS89においては、ステップS71において得られた静止画像と、ステップS88において設定された内容とに従って構造化文書を生成する。そして、次のステップS90において、生成された構造化文書をHDD116に記憶し、処理を終了する。
上述した実施の形態における画像処理システムは、制御装置として機能するPC200が動画像を含む構造化文書を取得し、構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像と、フレームが静止画像中に配置された位置を示す位置情報と、動画像を識別するための動画像識別情報とを含むプリントデータを生成し、プリントデータと動画像とを画像処理装置として機能するMFP100に送信する。一方、画像処理装置として機能するMFP100は、画像形成時において、PC200からプリントデータと動画像を受信し、動画像をそれとともに受信される動画像識別情報と関連付けて記憶し、プリントデータに含まれる静止画像に、記憶された動画像の動画像識別情報と、プリントデータに含まれる位置情報とを埋め込み、静止画像を用紙に形成する。さらに、MFP100は、画像読取時において、用紙に形成された静止画像を読み取り、読み取られた静止画像から動画像識別情報と位置情報とを抽出し、抽出された動画像識別情報で特定される動画像を取得し、静止画像の位置情報で特定される位置に動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する。
このように、MFP100が、画像読取時において、用紙に形成された静止画像を読み取り、静止画像から動画像識別情報と位置情報とを抽出し、抽出された動画像識別情報で特定される動画像を取得し、読み取られた静止画像の抽出された位置情報に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する。このため、動画像を含む構造化文書を画像形成した場合であっても、画像が形成された用紙を読み取ると、画像形成時に記憶した動画像を特定することができる。このため、動画像を失うことなく構造化文書の画像を形成することができる。
<変形例>
上述した実施の形態においては、PC200において構造化文書をMFP100でプリントする例を説明したが、変形例におけるMFP100は、構造化文書をHDD116に記憶しており、MFP100においてHDD116に記憶された構造化文書をプリントするようにしたものである。以下、上述した画像処理システムと異なる点を主に説明する。
図10は、変形例におけるMFP100が備えるCPU111が有する機能の一例を示す機能ブロック図である。図10を参照して、図6に示した機能ブロック図と異なる点は、プリントデータ受信部51、動画像受信部57が削除され、新たに、構造化文書取得部81、選択指示受付部83、静止画像生成部85および動画像抽出部87を有する点、および動画像記憶部59および埋込部53を変更して動画像記憶部59Aおよび埋込部53Aとして点である。その他の機能は、図6に示したのと同じなのでここでは説明を繰り返さない。
構造化文書取得部81は、ユーザが操作部160Bに入力するプリント操作に従って、構造化文書を特定し、特定された構造化文書を取得する。具体的には、HDD116に記憶された構造化文書をプリントする操作が受付られた場合、HDD116に記憶された構造化文書を読み出すことにより、取得する。また、ブラウジングプログラムが実行されている場合に、WebサーバからダウンロードされたWebページをプリントする操作が受け付けられた場合、ダウンロードされてRAM114に一時記憶されたWebページを取得する。構造化文書取得部81は、取得された構造化文書を静止画像生成部85および動画像抽出部87に出力する。
動画像抽出部87は、構造化文書取得部81から入力される構造化文書が、動画像を含む場合、構造化文書から動画像を抽出する。また、動画像抽出部87は、構造化文書取得部81から入力される構造化文書が動画像をリンクしている場合、リンクされている動画像を取得する。構造化文書が動画像をリンクしている場合、構造化文書は、動画像が記憶されている位置を示す情報、例えば、URLを含む。動画像抽出部87は、構造化文書に含まれる位置を示す情報に記憶されている動画像を取得する。たとえば、位置情報が、PC200のHDD205に記憶されている動画像のURLを示す場合、PC200からそのURLで特定される動画像をダウンロードする。動画像抽出部87は、構造化文書から抽出された動画像、または、構造化文書に含まれる位置を示す情報に基づいて取得された動画像に、その動画像を識別するための動画像識別情報(例えば、ファイル名)を付与し、動画像と、動画像識別情報との組を、動画像記憶部59Aに出力し、動画像識別情報とその動画像が構造化文書を表示した表示画像中で表示される位置を示す位置情報との組を、埋込部53Aに出力する。動画像識別情報は、MFP100において別のデータと区別可能な情報である。
動画像記憶部59Aは、動画像抽出部87から入力される動画像をそれとともに入力される動画像識別情報と関連付けてHDD116に記憶する。
なお、ここでは、動画像をMFP100のHDD116に記憶するようにしたが、別のMFP101,102に記憶するようにしてもよいし、ネットワーク2に接続されたファイルサーバに記憶するようにしてもよい。この場合、動画像識別情報は、それが記憶される装置を識別するための装置識別情報、例えば、ネットワーク2におけるアドレス情報を含む。
静止画像生成部85は、構造化文書取得部81から入力される構造化文書に従って静止画像を生成し、生成された静止画像を埋込部53Aに出力する。具体的には、まず、構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選択された1つのフレームを配置した静止画像を生成する。構造化文書が、動画像の再生を開始する開始フレームを特定するためのフレーム識別情報を含む場合、該フレーム識別情報で特定されるフレームを選択する。また、後述する選択指示受付部83からユーザにより選択されたフレームのフレーム識別情報が入力される場合には、構造化文書にフレーム識別情報が含まれているか否かにかかわらず、選択指示受付部83から入力されるフレーム識別情報で特定されるフレームを選択する。構造化文書にフレーム識別情報が含まれておらず、かつ、選択指示受付部83からフレーム識別情報が入力されない場合、静止画像生成部85は、動画像に含まれる複数のフレームのうち最初の第1番目のフレームを選択する。
選択指示受付部83は、ユーザが操作部160Bに、動画像に含まれる複数のフレームのうちから1つを選択する操作を入力すると、動画像に含まれる複数のフレームのうちからユーザにより選択された1つのフレームのフレーム識別情報を静止画像生成部85に出力する。例えば、動画像を表示部160Aに表示し、ユーザが再生を停止する操作を選択する操作として受け付ける。再生を停止する操作を受け付ける時点に表示されているフレームのフレーム識別情報を静止画像生成部85に出力する。
埋込部53Aは、構造化文書取得部81から構造化文書が入力され、静止画像生成部85から静止画像が入力され、動画像抽出部87から動画像識別情報と位置情報との組が入力される。埋込部53Aは、構造化文書が開始フレームを特定するためのフレーム識別情報を含む場合にはフレーム識別情報を抽出する。そして、静止画像生成部85から入力される静止画像に、動画像抽出部87から入力される位置情報と動画像識別情報との組を地紋情報として埋め込む。埋込部53Aは、動画像抽出部87から複数の動画像識別情報と位置情報との組が入力される場合、複数の組を埋め込む。また、構造化文書からフレーム識別情報が抽出される場合には、そのフレーム識別情報をさらに静止画像に埋め込む。埋込部53Aは、動画像識別情報と位置情報との組、それが構造化文書から抽出される場合にはフレーム識別情報を埋め込んだ静止画像を画像形成制御部55に出力する。
図11は、変形例におけるプリント処理の流れの一例を示すフローチャートである。変形例におけるプリント処理は、変形例におけるMFP100が備えるCPU111が、画像処理プログラムを実行することにより、CPU111により実行される処理である。図11を参照して、CPU111は、プリントの対象となるデータの指定を受け付けたか否かを判断する(ステップS101)。プリントの対象となるプリントデータの指定を受け付けるまで待機状態となり(ステップS101でNO)、プリントの対象となるデータの指定を受け付けると処理をステップS102に進める。すなわち、変形例におけるプリント処理は、プリントの対象となるデータが指定されることを条件に実行される処理である。ブラウジングプログラムが実行され、Webページが表示されている状態で、プリントを指示する操作が入力されると、表示されているWebページがプリントの対象となるデータとして指定される。また、HDD116に記憶されているデータを指定してプリントを指示する操作が入力されると、指定されたデータがプリントの対象となるデータとして指定される。
ステップS102においては、プリントの対象となるデータが構造化文書か否かを判断する。構造化文書ならば処理をステップS103に進め、そうでなければ処理をステップS117に進める。ステップS103においては、プリントの対象となるデータが、動画像を含むか否かを判断する。データが動画像を含む構造化文書の場合、または、データが動画像をリンクする構造化文書の場合、データが動画像を含むと判断する。プリントの対象となるデータが動画像を含むならば処理をステップS104に進めるが、そうでなければ処理をステップS117に進める。
ステップS104においては、動画像を抽出する。構造化文書が動画像を含んでいればその動画像を構造化文書から抽出し、構造化文書が動画像をリンクしていれば、リンクされている動画像を取得する。
ステップS105においては、抽出された動画像に動画像識別情報を付与する。次のステップS106においては、構造化文書から抽出された動画像に付与された動画像識別情報と関連付けてHDD116に記憶する。構造化文書が複数の動画像を含む場合に、複数の動画像を区別して記憶するためである。
そして、ステップS107においては、抽出された動画像が再生される際に開始するフレームを指示する操作を受け付けたか否かを判断する。例えば、動画像を表示部160Aに表示し、ユーザが再生を停止する操作を入力すると、その操作をそのとき表示されているフレームを指示する操作として受け付ける。フレームを指示する操作を受け付けたならば処理をステップS108に進めるが、そうでなければ処理をステップS109に進める。ステップS108においては、指示されたフレームを開始フレームとして選択し、処理をステップS112に進める。
一方、ステップS109においては、構造化文書がフレーム識別情報を含むか否かを判断する。構造化文書に動画像の再生を開始する開始フレームのフレーム識別情報が含まれているか否かを判断する。そのようなフレーム識別情報が含まれていれば、処理をステップS110に進めるが、そうでなければ処理をステップS111に進める。ステップS110においては、構造化文書に含まれるフレーム識別情報で特定されるフレームを選択し、処理をステップS112に進める。ステップS111においては、動画像の最初の第1番目のフレームを選択し、処理をステップS112に進める。
ステップS112においては、ステップS108、ステップS109またはステップS111において選択されたフレームを表示画像の動画像が表示される位置に配置した静止画像を生成する。
ステップS113においては、ステップS108、ステップS109またはステップS111において選択されたフレームが第1番目のフレームか否かを判断する。開始フレームとして選択されたフレームが第1番目のフレームならば処理をステップS115に進め、そうでなければ処理をステップS114に進める。
ステップS114においては、ステップS112において生成された静止画像に、静止画像中で動画像が表示される位置情報と、ステップS105において動画像に付された動画像識別情報と、ステップS108またはステップS110において選択されたフレームのフレーム識別情報とを、地紋画像として埋め込み、処理をステップS116に進める。一方、ステップS115においては、ステップS112において生成された静止画像に、静止画像中で動画像が表示される位置情報と、ステップS105において動画像に付された動画像識別情報とを、地紋画像として埋め込み、処理をステップS116に進める。
ステップS116においては、静止画像をプリントする。具体的には、静止画像を画像形成部140に出力し、静止画像を用紙に形成させる。これにより、位置情報と、動画像識別情報と、を少なくとも含む地紋画像が合成された静止画像が用紙に形成される。
一方、ステップS117においては、ステップS101において指定されたデータをプリントし、処理を終了する。
上述した変形例におけるMFPは、動画像を含む構造化文書を取得し、構造化文書に含まれる動画像に該動画像を識別するための動画像識別情報を付与して記憶し、構造化文書を表示した表示画像中の動画像が表示される位置に、動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成し、静止画像に、動画像識別情報と、フレームが静止画像中に配置された位置を示す位置情報とを埋め込み、静止画像を用紙に形成する。そして、用紙に形成された静止画像を読み取ると、静止画像から動画像識別情報と位置情報とを抽出し、動画像識別情報で特定される動画像を取得し、静止画像の位置情報で特定される位置に取得された動画像が表示されるように静止画像に動画像を関連付けた構造化文書を生成する。
このため、動画像を含む構造化文書を画像形成した場合であっても、画像が形成された用紙を読み取ると、画像形成時に記憶した動画像を特定することができる。このため、動画像を失うことなく構造化文書の画像を形成することができる。
上述した実施の形態においては、静止画像に含まれる動画像識別情報が装置識別情報を含む場合、該装置識別情報が自装置の装置識別情報と異なる場合には、静止画像から抽出された動画像が自装置のHDD116に記憶されていない。この場合には、MFP101,102のうち装置識別情報で特定されるものから動画像をダウンロードするようにしてもよいし、その装置に静止画像を送信し、その装置に構造化文書を再構成させ、構造化文書を受信するようにしてもよい。
また、画像処理装置の一例としてのMFP100,101,102について説明したが、図7〜図9、または、図11に示した処理を実行するための画像処理方法およびその画像処理方法をコンピュータに実行させるための画像処理プログラムとして発明を捉えることができるのは、言うまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
<付記>
(1) 前記変更手段は、前記動画像の解像度を変更する、請求項6に記載の画像処理システム。
(2) 前記変更手段は、前記動画像の画質を変更する、請求項6に記載の画像処理システム。
本発明の実施の形態の1つにおける画像処理システムの全体概要を示す図である。 MFPの外観を示す斜視図である。 MFPのハードウェア構成の一例を示すブロック図である。 PCのハードウェア構成の一例を示すブロック図である。 PCが備えるCPUが有する機能の一例を示す機能ブロック図である。 MFPが備えるCPUが有する機能の一例を示す機能ブロック図である。 プリント指示処理の流れの一例を示すフローチャートである。 プリント処理の流れの一例を示すフローチャートである。 再構成処理の流れの一例を示すフローチャートである。 変形例におけるMFP100が備えるCPU111が有する機能の一例を示す機能ブロック図である。 変形例におけるプリント処理の流れの一例を示すフローチャートである。
符号の説明
1 画像処理システム、2 ネットワーク、51 プリントデータ受信部、53,53A 埋込部、55 画像形成制御部、57 動画像受信部、59,59A 動画像記憶部、61 読取画像取得部、63 抽出部、65 動画像取得部、67 再構成部、71 設定部、73 表示設定受付部、75 変更部、81 構造化文書取得部、83 選択指示受付部、85 静止画像生成部、87 動画像抽出部、110 メイン回路、111 CPU、112 通信I/F部、117 ファクシミリ部、118 カードI/F、118A フラッシュメモリ、120 自動原稿搬送装置、130 原稿読取部、140 画像形成部、150 給紙部、160 操作パネル、160A 表示部、160B 操作部、200 PC、201 CPU、206 表示部、207 操作部、211 構造化文書取得部、213 選択指示受付部、215 プリントデータ生成部、217 プリントデータ送信部、219 動画像抽出部、221 動画像送信部。

Claims (14)

  1. 画像処理装置と、該画像処理装置を制御する制御装置とを含む画像処理システムであって、
    前記制御装置は、
    動画像を含む構造化文書を取得する構造化文書取得手段と、
    前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像と、前記フレームが前記静止画像中に配置された位置を示す位置情報と、前記動画像を識別するための動画像識別情報とを含むプリントデータを生成するプリントデータ生成手段と、
    前記生成されたプリントデータと前記動画像とを前記画像処理装置に送信する送信手段と、を備え、
    前記画像処理装置は、画像形成時において、
    前記制御装置から前記プリントデータと前記動画像を受信する受信手段と、
    前記受信された動画像を前記プリントデータに含まれる前記動画像識別情報と関連付けて記憶する記憶手段と、
    前記受信されたプリントデータに含まれる静止画像に、前記記憶された動画像の動画像識別情報と、前記受信されたプリントデータに含まれる前記位置情報とを埋め込む埋込手段と、
    前記静止画像を記録媒体に形成する画像形成手段と、を備え、
    画像読取時において、
    前記記録媒体に形成された前記静止画像を読み取る読取手段と、
    前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出する抽出手段と、
    前記抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、
    前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前記静止画像に前記動画像を関連付けた構造化文書を生成する再構成手段と、を備える画像処置システム。
  2. 前記制御装置は、前記動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、
    前記プリントデータ生成手段は、前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうち前記受け付けられた指示で選択されるフレームを配置した静止画像を含むプリントデータを生成する、請求項1に記載の画像処理システム。
  3. 前記プリントデータ生成手段は、前記取得された構造化文書において前記動画像の再生を開始する開始フレームが設定されている場合、前記動画像に含まれる複数のフレームのうち前記開始フレームを配置した静止画像を含むプリントデータを生成する、請求項1に記載の画像処理システム。
  4. 前記プリントデータ生成手段は、前記静止画像に配置されたフレームを特定するフレーム識別情報をさらに含むプリントデータを生成し、
    前記埋込手段は、前記受信されたプリントデータに含まれる静止画像に、前記受信されたプリントデータに含まれる前記フレーム識別情報をさらに埋め込み、
    前記抽出手段は、前記読み取られた静止画像から前記フレーム識別情報をさらに抽出し、
    前記再構成手段は、前記生成された構造化文書が表示される際に、前記動画像が前記抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む、請求項1に記載の画像処理システム。
  5. 前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
    前記生成された構造化文書が表示される際に、前記動画像が前記受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段と、を含む請求項1に記載の画像処理システム。
  6. 前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
    前記受け付けられた表示設定に従って前記動画像が再生されるように前記動画像を変更する変更手段と、を含む請求項1に記載の画像処理システム。
  7. 動画像を含む構造化文書を取得する構造化文書取得手段と、
    前記取得された構造化文書に含まれる前記動画像を該動画像を識別するための動画像識別情報を付与して記憶する記憶手段と、
    前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成する静止画像生成手段と、
    前記生成された静止画像に、前記動画像識別情報と、前記フレームが前記静止画像中に配置された位置を示す位置情報とを埋め込む埋込手段と、
    前記静止画像を記録媒体に形成する画像形成手段と、
    前記記録媒体に形成された前記静止画像を読み取る読取手段と、
    前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出する抽出手段と、
    前記抽出された動画像識別情報で特定される動画像を取得する動画像取得手段と、
    前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前記静止画像に前記動画像を関連付けた構造化文書を生成する再構成手段と、を備えた画像処理装置。
  8. 前記動画像のうちから1つのフレームを選択する指示を受け付ける選択指示受付手段をさらに備え、
    前記静止画像生成手段は、前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうち前記受け付けられた指示で選択されるフレームを配置した静止画像を生成する、請求項7に記載の画像処理装置。
  9. 前記静止画像生成手段は、前記取得された構造化文書において前記動画像の再生を開始する開始フレームが設定されている場合、前記動画像に含まれる複数のフレームのうち前記開始フレームを配置した静止画像を生成する、請求項7に記載の画像処理装置。
  10. 前記埋込手段は、前記生成された静止画像に、該静止画像に配置されたフレームを特定するフレーム識別情報をさらに埋め込み、
    前記抽出手段は、前記読み取られた静止画像から前記フレーム識別情報をさらに抽出し、
    前記再構成手段は、前記生成された構造化文書が表示される際に、前記動画像が前記抽出されたフレーム識別情報で特定されるフレームから再生されるように開始フレームを設定する設定手段を含む、請求項7に記載の画像処理装置。
  11. 前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
    前記生成された構造化文書が表示される際に、前記動画像が前記受け付けられた表示設定により特定されるフレームから再生されるように開始フレームを設定する設定手段とを含む、請求項7に記載の画像処理装置。
  12. 前記再構成手段は、前記動画像を表示するための表示設定を受け付ける表示設定受付手段と、
    前記受け付けられた表示設定に従って前記動画像が再生されるように前記動画像を変更する変更手段と、を含む請求項7に記載の画像処理装置。
  13. 動画像を含む構造化文書を取得するステップと、
    前記取得された構造化文書に含まれる前記動画像を記憶するステップと、
    前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、
    前記生成された静止画像に、前記動画像識別情報と、前記フレームが前記静止画像中に配置された位置を示す位置情報とを埋め込むステップと、
    前記静止画像を記録媒体に形成するステップと、
    前記記録媒体に形成された前記静止画像を読み取るステップと、
    前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出するステップと、
    前記抽出された動画像識別情報で特定される動画像を取得するステップと、
    前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前記静止画像に前記動画像を関連付けた構造化文書を生成するステップと、を含む画像処理方法。
  14. 動画像を含む構造化文書を取得するステップと、
    前記取得された構造化文書に含まれる前記動画像を記憶するステップと、
    前記取得された構造化文書を表示した表示画像中の前記動画像が表示される位置に、前記動画像に含まれる複数のフレームのうちから選ばれた1つのフレームを配置した静止画像を生成するステップと、
    前記生成された静止画像に、前記動画像識別情報と、前記フレームが前記静止画像中に配置された位置を示す位置情報とを埋め込むステップと、
    前記静止画像を記録媒体に形成するステップと、
    前記記録媒体に形成された前記静止画像を読み取るステップと、
    前記読み取られた静止画像から前記動画像識別情報と前記位置情報とを抽出するステップと、
    前記抽出された動画像識別情報で特定される動画像を取得するステップと、
    前記読み取られた静止画像の前記抽出された位置情報で特定される位置に前記取得された動画像が表示されるように前期静止画像に前記動画像を関連付けた構造化文書を生成するステップと、をコンピュータに実行させる画像処理プログラム。
JP2008254932A 2008-09-30 2008-09-30 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム Active JP4420125B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008254932A JP4420125B1 (ja) 2008-09-30 2008-09-30 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム
US12/740,573 US8576440B2 (en) 2008-09-30 2009-08-17 Image processing system, apparatus, method, and computer readable recording medium recorded with image processing program for forming an image of a structured document without losing a moving image included in the structured document
PCT/JP2009/003905 WO2010038348A1 (ja) 2008-09-30 2009-08-17 画像処理システム、画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008254932A JP4420125B1 (ja) 2008-09-30 2008-09-30 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP4420125B1 true JP4420125B1 (ja) 2010-02-24
JP2010086297A JP2010086297A (ja) 2010-04-15

Family

ID=42016907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008254932A Active JP4420125B1 (ja) 2008-09-30 2008-09-30 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US8576440B2 (ja)
JP (1) JP4420125B1 (ja)
WO (1) WO2010038348A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5792942B2 (ja) * 2010-10-15 2015-10-14 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
US8966179B1 (en) * 2012-09-10 2015-02-24 Google Inc. Volatile memory storage for private web browsing
JP6263886B2 (ja) * 2013-07-19 2018-01-24 ブラザー工業株式会社 データ供給装置
JP6379563B2 (ja) * 2014-03-25 2018-08-29 ブラザー工業株式会社 データ供給装置、及び、データ供給プログラム
US9824076B2 (en) * 2014-10-14 2017-11-21 Bank Of America Coporation Big file editor
US11514244B2 (en) 2015-11-11 2022-11-29 Adobe Inc. Structured knowledge modeling and extraction from images
JP6766755B2 (ja) * 2017-06-02 2020-10-14 京セラドキュメントソリューションズ株式会社 画像形成装置および画像形成システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091518A (en) * 1996-06-28 2000-07-18 Fuji Xerox Co., Ltd. Image transfer apparatus, image transmitter, profile information transmitter, image receiver/reproducer, storage medium, image receiver, program transmitter, and image color correction apparatus
JP2000343784A (ja) 1999-06-04 2000-12-12 Fujitsu Ltd 二次元コードの印刷再現方法、印刷物、印刷方法と印刷装置、並びに再現方法と再現装置
US7386790B2 (en) * 2000-09-12 2008-06-10 Canon Kabushiki Kaisha Image processing apparatus, server apparatus, image processing method and memory medium
JP4426780B2 (ja) * 2003-06-06 2010-03-03 株式会社日立製作所 映像の記録再生システムおよび記録再生方法
JP3962721B2 (ja) * 2003-12-15 2007-08-22 キヤノン株式会社 文書処理装置及び文書処理方法
JP4532995B2 (ja) * 2004-06-01 2010-08-25 キヤノン株式会社 印刷装置、印刷方法、及びプログラム
JP2006072648A (ja) 2004-09-01 2006-03-16 Samii Kk 遊技機情報提供システム
JP4407579B2 (ja) * 2005-06-30 2010-02-03 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置、画像形成方法及びプログラム
JP2007080154A (ja) 2005-09-16 2007-03-29 Canon Inc 構造化文書描画装置、構造化文書描画方法及びプログラム
JP2007083663A (ja) 2005-09-26 2007-04-05 Fuji Xerox Co Ltd 画像形成装置および動画データ搭載画像形成媒体出力方法
JP4244985B2 (ja) * 2005-10-31 2009-03-25 ブラザー工業株式会社 印刷制御システム、及び、プログラム
JP4735386B2 (ja) 2006-04-13 2011-07-27 セイコーエプソン株式会社 動画中の静止画位置の再現
JP4293209B2 (ja) * 2006-08-02 2009-07-08 ソニー株式会社 記録装置および方法、撮像装置、再生装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20100238471A1 (en) 2010-09-23
JP2010086297A (ja) 2010-04-15
US8576440B2 (en) 2013-11-05
WO2010038348A1 (ja) 2010-04-08

Similar Documents

Publication Publication Date Title
JP4420125B1 (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム
JP5056874B2 (ja) 情報処理システム、情報処理装置、連携ジョブ実行方法および連携ジョブ実行プログラム
JP5500128B2 (ja) アプリ連携システムおよびアプリ連携方法
JP4802691B2 (ja) 画像形成装置およびデータアクセス用データプリントプログラム
JP6729168B2 (ja) コンテンツ処理装置
CN103380419B (zh) 网络***、设备服务器以及网络***的控制方法
US9507796B2 (en) Relay apparatus and image processing device
JP2004289500A (ja) 画像処理装置、画像処理方法及びプログラム
JP4888469B2 (ja) 画像配信装置、画像配信方法および画像配信プログラム
JP4710920B2 (ja) データ処理装置、データ処理プログラム、データ処理方法、サーバ、処理実行指示プログラムおよび処理実行指示方法
EP2833253A1 (en) Computer program and communication apparatus
CN107450794A (zh) 信息处理终端
JP5120443B2 (ja) 文書作成システム、文書作成方法、画像処理装置及び文書作成処理プログラム
JP6922436B2 (ja) プログラム及び携帯端末
JP4343057B2 (ja) 画像形成システム
JP5303198B2 (ja) 表示画面生成プログラム、表示画面生成装置、及び画像形成装置
JP2009302920A (ja) 画像形成システム
US9883059B2 (en) Image forming apparatus and terminal apparatus using short-range communication for retrieving image data from a network apparatus, displaying the image data on the terminal apparatus and printing the image data on the image forming apparatus
JP5091802B2 (ja) 画像形成装置および画像形成システム
JP5182214B2 (ja) 処理実行装置、制御方法および制御プログラム
JP5083136B2 (ja) 画像形成システム、制御装置、その制御装置で実行されるドライバプログラムおよびプリント制御方法
JP2017215752A (ja) 情報処理装置、情報処理方法およびプログラム
JP6680141B2 (ja) 画像処理装置
JP6996293B2 (ja) 画像処理装置、画像処理システムおよび画像データ出力処理方法
JP2009302919A (ja) 表示画面解析プログラム、表示制御装置、及び画像形成装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4420125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350