JP4876736B2

JP4876736B2 - Document camera device

Info

Publication number: JP4876736B2
Application number: JP2006174631A
Authority: JP
Inventors: 賢悟大村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-06-23
Filing date: 2006-06-23
Publication date: 2012-02-15
Anticipated expiration: 2026-06-23
Also published as: JP2008005359A

Description

本発明は、原稿や書類等のドキュメントを撮影するカメラを備え、このカメラによって撮影された画像を表示装置に表示するドキュメントカメラ装置に関する。 The present invention relates to a document camera apparatus that includes a camera that captures a document such as an original or a document and displays an image captured by the camera on a display device.

紙に印刷された文書、図面、写真などのドキュメント、さらには立体物などを撮影し、撮影した画像をスクリーンやディスプレイに表示させるカメラ装置をドキュメントカメラ（書画カメラ）という。 A camera device that captures a document printed on paper, a document such as a drawing or a photograph, or a three-dimensional object, and displays the captured image on a screen or display is called a document camera (document camera).

ドキュメントカメラ装置は、一般的にドキュメントを撮影するためのカメラと、カメラを支え、被写体を好適な角度から撮影できるように上下左右に可動可能なスタンドと、撮影して得られた画像データをプロジェクタやディスプレイに送るためのインターフェースとを備えている。例えば、会議の前までに資料を事前にＰＣ等に読み込んでおかなくても、ドキュメントカメラ装置で撮影して取り込むことで、その場で画像をスクリーンに投影することができる。 A document camera device generally includes a camera for photographing a document, a stand that supports the camera and is movable up and down and left and right so that a subject can be photographed from a suitable angle, and a projector that captures image data obtained by photographing. And an interface for sending to the display. For example, even if the document is not read in advance on a PC or the like before the meeting, it is possible to project the image on the screen by photographing with a document camera device and taking it in.

また、一度カメラで撮影して取り込んだ画像をコンピュータに保存する機能を搭載したドキュメントカメラ装置も提案されている（例えば、特許文献１参照）。 There has also been proposed a document camera device having a function of storing an image once captured by a camera and stored in a computer (see, for example, Patent Document 1).

特開２００５−７９７２７号公報JP 2005-79727 A

しかしながら、画像が表示されている間になされた発話者の発言等の音声データを画像に関連付けて保存することができなかったため、画像データを保存できる機能を持ったドキュメントカメラであっても、表示された画像データに対応する説明音声を再生して聞くことができないという問題がある。
また、撮影された画像データを保存できるドキュメントカメラであっても、画像の変化を検出して、必要な画像データだけを保存しなければ、記憶装置の容量を無駄に消費するという課題を有している。 However, since voice data such as a speaker's speech made while an image was displayed could not be stored in association with the image, even a document camera having a function that can store image data is displayed. There is a problem that it is impossible to reproduce and listen to the explanation sound corresponding to the image data.
Further, even a document camera that can store captured image data has a problem of wastefully consuming the capacity of the storage device unless only the necessary image data is stored by detecting a change in the image. ing.

本発明は上記事情に鑑みてなされたものであり、会議の様子を忠実に再現し、会議の内容理解が容易となるドキュメントカメラ装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a document camera device that faithfully reproduces the state of a conference and facilitates understanding of the content of the conference.

かかる目的を達成するために本発明のドキュメントカメラ装置は、スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ装置であって、撮影される画像データを順次入力し、順次入力した画像データの画像を比較して画像に変化のある画像データを検出し、該画像データを検出したタイミングを、前記スクリーンに投影された投影用の画像データが切り替えられた切替タイミングとして検出すると共に、前記画像に変化のある画像データを記憶手段に記憶させる検出手段と、発言者の音声を音声データとして取り込む音声入力手段と、前記検出手段の検出した切替タイミングに応じて前記音声データを分割し、分割した音声データを前記記憶手段に記憶させる分割手段と、前記画像に変化のある画像データと、前記分割手段で分割された音声データであって、前記画像に変化のある画像データが前記スクリーンに投影されている間に入力した音声データとを関連付けたファイルを作成して前記記憶手段に格納する関連付け手段とを有し、前記検出手段は、画像データの画像特徴量を抽出し、該画像特徴量と前記直前の画像データの画像特徴量とを比較することで、前記画像に変化のある画像データを検出し、前記検出手段は、画像のカラーヒストグラムと、色分布と、濃度一様な画像パターン数と、画素数と画素配列と、画像のエッジ数との少なくとも１つを前記画像特徴量として抽出することを特徴とする。
このように本発明は、撮影した画像データと、この画像データに対する発言とが関連付けされて記憶手段に格納されるので、画像データを表示しながら音声データを再生することができる。従って、会議の様子を忠実に再現することができ、会議の内容理解が容易となる。
また、検出手段は、画像のカラーヒストグラムと、色分布と、濃度一様な画像パターン数と、画素数と画素配列と、画像のエッジ数との少なくとも１つを前記画像特徴量として抽出することから、画像の変化を正確に検出することができる。 In order to achieve such an object, a document camera device of the present invention is a document camera device that captures image data for projection projected on a screen, and sequentially inputs the image data to be captured, and the image data that is sequentially input The image data having a change in the image is detected by comparing the two images, and the timing at which the image data is detected is detected as the switching timing at which the projection image data projected on the screen is switched, and the image a detecting means for storing the image data in the storage means in the change, an audio input means for capturing the voice of the speaker as a voice data, the divided speech data in accordance with the detected switching timing of said detection means, and division dividing means for storing the audio data in the storage means, and image data with a change in the image, the divided An audio data divided by the stage, the association means image data having the change in the image is stored in the storage means to create a file which associates the voice data inputted while it is projected on the screen And the detection means extracts the image feature quantity of the image data, and compares the image feature quantity with the image feature quantity of the immediately preceding image data, thereby obtaining the image data having a change in the image. And detecting means extracts at least one of an image color histogram, a color distribution, a uniform number of image patterns, a number of pixels, a pixel array, and an edge number of the image as the image feature amount. characterized in that it.
As described above, according to the present invention, since the captured image data and the utterance to the image data are associated with each other and stored in the storage unit, the sound data can be reproduced while displaying the image data. Accordingly, the state of the meeting can be faithfully reproduced, and the contents of the meeting can be easily understood.
Further, the detection means extracts at least one of an image color histogram, a color distribution, the number of image patterns with uniform density, the number of pixels, the pixel array, and the number of edges of the image as the image feature amount. Therefore, it is possible to accurately detect a change in the image.

本発明のドキュメントカメラ装置は、スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ装置であって、撮影される画像データを順次入力し、順次入力した画像データの画像を比較して画像に変化のある画像データを検出し、該画像データを検出したタイミングを、前記スクリーンに投影された投影用の画像データが切り替えられた切替タイミングとして検出すると共に、前記画像に変化のある画像データを記憶手段に記憶させる検出手段と、発言者の音声を音声データとして取り込む音声入力手段と、前記検出手段の検出した切替タイミングに応じて前記音声データを分割し、分割した音声データを前記記憶手段に記憶させる分割手段と、前記画像に変化のある画像データと、前記分割手段で分割された音声データであって、前記画像に変化のある画像データが前記スクリーンに投影されている間に入力した音声データとを関連付けたファイルを作成して前記記憶手段に格納する関連付け手段とを有し、前記検出手段は、画像データから抽出したテキスト情報と、前記直前の画像データから抽出したテキスト情報とを比較して、前記画像に変化のある画像データを検出することを特徴とする。The document camera device of the present invention is a document camera device that captures image data for projection projected on a screen, and sequentially inputs the image data to be captured, and compares the images of the sequentially input image data. The image data having a change is detected, the timing at which the image data is detected is detected as a switching timing at which the projection image data projected on the screen is switched, and the image data having a change in the image is detected. Detection means to be stored in the storage means, voice input means for capturing the voice of the speaker as voice data, and the voice data is divided according to the switching timing detected by the detection means, and the divided voice data is stored in the storage means. Dividing means for storing, image data having a change in the image, and audio data divided by the dividing means And an association unit that creates a file associated with the audio data input while the image data having a change in the image is projected on the screen and stores the file in the storage unit, and the detection unit Is characterized in that the text information extracted from the image data is compared with the text information extracted from the immediately preceding image data to detect image data having a change in the image.
このように本発明は、撮影した画像データと、この画像データに対する発言とが関連付けされて記憶手段に格納されるので、画像データを表示しながら音声データを再生することができる。従って、会議の様子を忠実に再現することができ、会議の内容理解が容易となる。 As described above, according to the present invention, since the captured image data and the utterance to the image data are associated with each other and stored in the storage unit, the sound data can be reproduced while displaying the image data. Accordingly, the state of the meeting can be faithfully reproduced, and the contents of the meeting can be easily understood.
また、検出手段は、画像データから抽出したテキスト情報と、直前の画像データから抽出したテキスト情報とを比較して、画像に変化のある画像データを検出することから、画像の変化を正確に検出することができる。In addition, the detecting means compares the text information extracted from the image data with the text information extracted from the immediately preceding image data, and detects the image data having a change in the image, thereby accurately detecting the change in the image. can do.

上記ドキュメントカメラ装置において、前記投影用の画像データを撮影する第１撮影手段を備え、前記検出手段は、前記第１撮影手段に撮影を指示する操作手段からの操作入力を検出して、前記切替タイミングを検出するとよい。
従って、操作手段からの入力によって画像の切替タイミングを検出するので、音声データと画像データの関連付けを正確に行うことができる。 The document camera device further includes first photographing means for photographing the projection image data, and the detection means detects an operation input from an operation means that instructs the first photographing means to perform photographing, and performs the switching. It is good to detect timing.
Therefore, since the image switching timing is detected by the input from the operating means, it is possible to accurately associate the audio data with the image data.

上記ドキュメントカメラ装置において、前記投影用の画像データを撮影する第１撮影手段を備え、前記検出手段は、前記第１撮影手段の撮影位置に資料が配置されているか否かを検出する第２検出手段からの信号を入力して、前記切替タイミングを検出するとよい。
従って、画像の変化を正確に検出することができる。 The document camera apparatus further includes a first photographing unit that photographs the projection image data, and the detection unit detects whether or not a material is arranged at a photographing position of the first photographing unit. The switching timing may be detected by inputting a signal from the means.
Accordingly, it is possible to accurately detect a change in the image.

上記ドキュメントカメラ装置において、前記画像に変化のある画像データと、該画像データに関連付けられた、分割された音声データとを前記記憶手段から読み出して、再生させる再生制御手段を有しているとよい。
従って、画像データと、この画像データに関連付けられた音声データとを再生し、会議の様子を再現することができる。 The document camera device may include a reproduction control unit that reads out the image data having a change in the image and the divided audio data associated with the image data from the storage unit and reproduces the data. .
Accordingly, it is possible to reproduce the state of the conference by reproducing the image data and the audio data associated with the image data.

上記ドキュメントカメラ装置において、発言者や会議室の様子を撮影し、撮影された画像データを記憶する第２撮影手段を備え、前記関連付け手段は、前記第２撮影手段で撮影された画像データと、前記画像に変化のある画像データと、前記分割手段で分割された音声データとを関連付けたファイルを作成して前記記憶手段に記憶させるとよい。
従って、会議で使用した資料と、その資料に対する発言者の発言とを再現すると共に、会議中の発言者や会議室の様子を利用者に認識させることができる。 The document camera apparatus includes a second photographing unit that photographs a state of a speaker or a meeting room and stores the photographed image data, and the association unit includes image data photographed by the second photographing unit; A file in which the image data having a change in the image is associated with the audio data divided by the dividing unit may be created and stored in the storage unit.
Accordingly, it is possible to reproduce the material used in the conference and the speech of the speaker with respect to the material, and to allow the user to recognize the speaker or the conference room during the conference.

上記ドキュメントカメラ装置において、撮影された画像データのサムネイル画像を作成し、作成したサムネイル画像を前記記憶手段に記憶させるサムネイル作成手段を有し、前記関連付け手段は、前記サムネイル画像と、前記画像に変化のある画像データであって前記サムネイル画像の作成元となる画像データと、前記分割手段で分割された音声データとを関連付けたファイルを作成して前記記憶手段に記憶させるとよい。
従って、サムネイル画像を表示して、選択されたサムネイル画像に関連付けられた画像データや音声データを再生することができる。 The document camera device includes a thumbnail creating unit that creates a thumbnail image of the captured image data and stores the created thumbnail image in the storage unit, and the association unit changes the thumbnail image and the image It is preferable to create a file in which the image data that is the image data that is the source of the thumbnail image and the audio data divided by the dividing unit are associated with each other and stored in the storage unit.
Therefore, it is possible to display thumbnail images and reproduce image data and audio data associated with the selected thumbnail image.

上記ドキュメントカメラ装置において、撮影された画像データからテキスト情報を抽出し、該テキスト情報に形態素解析を行って得た前記テキスト情報の各形態素を前記記憶手段に格納する文字認識手段と、前記音声入力手段が入力した音声データに音声認識処理を行ってテキスト情報を抽出し、該テキスト情報に形態素解析を行って得た前記テキスト情報の各形態素を前記記憶手段に格納する音声認識手段とを有し、前記関連付け手段は、前記形態素を、該形態素を検出した画像データ又は音声データに関連付けて前記記憶手段に格納し、検索語を含む画像データ又は音声データを前記記憶手段から検索する検索手段を有するとよい。
従って、検索語を入力して所望の画像データや音声データを検出することができる。 In the document camera device, character recognition means for extracting text information from captured image data, and storing each morpheme of the text information obtained by performing morphological analysis on the text information in the storage means; and the voice input Speech recognition means for performing speech recognition processing on the speech data input by the means to extract text information, and storing each morpheme of the text information obtained by performing morpheme analysis on the text information in the storage means; The association means includes search means for storing the morpheme in the storage means in association with the image data or voice data in which the morpheme is detected, and searching the storage means for image data or voice data including a search word. Good.
Therefore, it is possible to detect desired image data and audio data by inputting a search term.

本発明によれば、会議の様子を忠実に再現し、会議の内容理解が容易となるドキュメントカメラ装置を提供することができる。 According to the present invention, it is possible to provide a document camera device that faithfully reproduces the state of a conference and facilitates understanding of the content of the conference.

添付図面を参照しながら本発明の好適な実施例を説明する。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings.

まず、図１を参照しながら本実施例のドキュメントカメラ１の構成を説明する。
図１に示すように本実施例のドキュメントカメラ１は、カメラ等の第１画像入力部（第１撮影手段）２と、第１画像入力部２を支え、被写体となるドキュメントを好適な位置から撮影できるようにＸＹＺ方向に稼動するフレキシブルアーム３と、被写体となるドキュメントを載置するスタンド４とを有している。また、ドキュメントカメラ１は、マイク端子８を備え、マイク９を接続することができる。さらに、第１画像入力部２で撮影された画像をスクリーン等に表示するプロジェクタ装置１０がドキュメントカメラ１には接続可能となっている。 First, the configuration of the document camera 1 of this embodiment will be described with reference to FIG.
As shown in FIG. 1, the document camera 1 according to the present embodiment supports a first image input unit (first photographing unit) 2 such as a camera and the first image input unit 2, and allows a document serving as a subject to be viewed from a suitable position. It has a flexible arm 3 that operates in the XYZ directions so that it can shoot, and a stand 4 on which a document that is a subject is placed. Further, the document camera 1 includes a microphone terminal 8 to which a microphone 9 can be connected. Further, a projector device 10 that displays an image photographed by the first image input unit 2 on a screen or the like can be connected to the document camera 1.

次に、ドキュメントカメラ１のより詳細な構成について図２を参照しながら説明する。
図２に示すようにドキュメントカメラ１は、第１画像入力部２と、画像処理部２１と、記録開始・終了操作部２２と、音声入力部９と、再生制御情報入力部２３と、登録データ表示部２４と、撮影指示操作部２５と、画像・音声記録再生部３０とを有している。 Next, a more detailed configuration of the document camera 1 will be described with reference to FIG.
As shown in FIG. 2, the document camera 1 includes a first image input unit 2, an image processing unit 21, a recording start / end operation unit 22, an audio input unit 9, a reproduction control information input unit 23, and registration data. A display unit 24, a shooting instruction operation unit 25, and an image / audio recording / reproducing unit 30 are provided.

第１画像入力部２は、例えばＣＣＤ等の撮像素子と、この撮像素子にスタンド４上の資料の像を結像するレンズ機構とを有している。レンズ機構は、複数のレンズからなる撮像倍率が可変なズームレンズ機構を備えている。撮像素子によって撮像された画像データは、画像処理部２１に送出される。 The first image input unit 2 includes, for example, an image sensor such as a CCD, and a lens mechanism that forms an image of the material on the stand 4 on the image sensor. The lens mechanism includes a zoom lens mechanism that includes a plurality of lenses and has a variable imaging magnification. The image data captured by the image sensor is sent to the image processing unit 21.

画像処理部２１は、第１画像入力部２で撮像された画像データ（アナログデータ）をデジタルデータに形式変換する。また画像処理部２１は、必要に応じて歪み補正、傾き補正等の画像処理を施し、処理された画像データをドキュメントカメラ１に接続されたプロジェクタ装置１０に転送する。プロジェクタ装置１０は、ドキュメントカメラ１から供給された画像データをスクリーン（不図示）に投影する。 The image processing unit 21 converts the format of the image data (analog data) captured by the first image input unit 2 into digital data. In addition, the image processing unit 21 performs image processing such as distortion correction and tilt correction as necessary, and transfers the processed image data to the projector device 10 connected to the document camera 1. The projector device 10 projects the image data supplied from the document camera 1 onto a screen (not shown).

撮影指示操作部（本発明の操作手段に該当する）２５は、第１画像入力部２に画像の撮影を指示する操作部である。撮影指示操作部２５が操作されると、後述する画像取得部３１にも撮影指示操作部２５から操作信号が入力される。画像取得部３１は、撮影指示操作部２５からの操作信号によって、画像データの撮影タイミングを認識する。
記録開始・終了操作部２２は、画像・音声記録再生部３０に画像と音声の取り込み開始や終了を指示するための操作部である。再生制御情報入力部２３は、画像・音声記録再生部３０に記録された画像や音声の再生操作を行うための操作部である。記録開始・終了操作部２２と、再生制御情報入力部２３と、撮影指示操作部２５とは、ドキュメントカメラ本体のスタンド４上に設けられたコントロールパネル７によって構成される。
図３に、コントロールパネルの一例を示す。本実施例のコントロールパネル７には、画像データと音声データの取り込みを画像・音声記録再生部３０に指示する画像・音声記録ボタン７１と、第１画像入力部２に画像の撮影を指示する撮影ボタン７２と、再生制御情報入力部２３として機能する再生ボタン７３、巻き戻し７６、早送り７７、一時停止７５、停止７４の各ボタンとが設けられている。この他にメニュー表示ボタン７８、ズーム設定ボタン７９などが設けられている。 An imaging instruction operation unit (corresponding to the operation means of the present invention) 25 is an operation unit that instructs the first image input unit 2 to capture an image. When the photographing instruction operation unit 25 is operated, an operation signal is input from the photographing instruction operation unit 25 to an image acquisition unit 31 described later. The image acquisition unit 31 recognizes the shooting timing of the image data based on the operation signal from the shooting instruction operation unit 25.
The recording start / end operation unit 22 is an operation unit for instructing the image / sound recording / reproducing unit 30 to start and end the capturing of images and sounds. The reproduction control information input unit 23 is an operation unit for performing a reproduction operation of images and sounds recorded in the image / sound recording / reproducing unit 30. The recording start / end operation unit 22, the reproduction control information input unit 23, and the shooting instruction operation unit 25 are configured by a control panel 7 provided on the stand 4 of the document camera body.
FIG. 3 shows an example of the control panel. The control panel 7 of this embodiment has an image / audio recording button 71 for instructing the image / audio recording / reproducing unit 30 to capture image data and audio data, and an image for instructing the first image input unit 2 to shoot an image. A button 72 and a playback button 73 that functions as the playback control information input unit 23, buttons for rewind 76, fast forward 77, pause 75, and stop 74 are provided. In addition, a menu display button 78, a zoom setting button 79, and the like are provided.

音声入力部９は、発話者の音声を入力するマイクである。音声入力部９は、ドキュメントカメラ１の本体内に内蔵させてもよいし、図１のようにマイク端子８を介してドキュメントカメラ１の本体に接続してもよい。 The voice input unit 9 is a microphone that inputs the voice of the speaker. The voice input unit 9 may be built in the main body of the document camera 1 or may be connected to the main body of the document camera 1 via the microphone terminal 8 as shown in FIG.

登録データ表示部２４は、画像・音声記録再生部３０に記録されたデータを表示するためのものである。登録データ表示部２４は、ドキュメントカメラ本体のスタンド４上に設置された液晶ディスプレイ６によって構成され、画像・音声記録再生部３０に登録された画像のサムネイル画像等が表示される（図３参照）。 The registered data display unit 24 is for displaying data recorded in the image / sound recording / reproducing unit 30. The registered data display unit 24 includes a liquid crystal display 6 installed on the stand 4 of the document camera body, and displays thumbnail images of images registered in the image / audio recording / reproducing unit 30 (see FIG. 3). .

次に、画像・音声記録再生部３０の詳細について説明する。図２に示すように画像・音声記録再生部３０内には、画像取得部（本発明の検出手段、サムネイル作成手段に該当する）３１と、音声取得部３２と、関連付け処理部（本発明の関連付け処理手段に該当する）３３と、再生制御部３４と、データ格納部３５と、画像・音声再生部３６とが設けられている。 Next, details of the image / sound recording / reproducing unit 30 will be described. As shown in FIG. 2, an image / audio recording / reproducing unit 30 includes an image acquisition unit (corresponding to detection means and thumbnail creation means of the present invention) 31, an audio acquisition unit 32, and an association processing unit (of the present invention). 33 (corresponding to association processing means), a reproduction control unit 34, a data storage unit 35, and an image / sound reproduction unit 36 are provided.

画像取得部３１は、画像処理部２１から画像データと、この画像データの撮影時間情報とを入力して、スクリーンに投影される画像データが切り替わる切り替えタイミングを検出する。この他に、撮影指示操作部２５から撮影を指示する操作信号を入力して、画像取得部３１が画像データの切り替えタイミングを検出することもできる。画像取得部３１は、スクリーンに投影する画像データの切り替えタイミングを検知すると、音声取得部３２にタイミング信号を出力し、画像の取得を通知する。 The image acquisition unit 31 receives the image data and the shooting time information of the image data from the image processing unit 21, and detects the switching timing at which the image data projected on the screen is switched. In addition, it is also possible to input an operation signal instructing shooting from the shooting instruction operation unit 25, and the image acquisition unit 31 can detect the switching timing of the image data. When the image acquisition unit 31 detects the switching timing of the image data to be projected on the screen, the image acquisition unit 31 outputs a timing signal to the sound acquisition unit 32 to notify the image acquisition.

また、画像取得部３１は、取得した画像データのサムネイル画像を生成する。画像取得部３１は、生成したサムネイル画像と、画像データとに識別子を付与して、データ格納部３５に格納する。画像データは、圧縮してデータ格納部３５に格納される。画像取得部３１は、データ格納部３５にデータを格納すると、生成した識別子（サムネイル画像と画像データに付与した識別子）と、データ格納部３５のアドレスと、画像処理部２１から取得した画像データの撮影時間情報とを関連付け処理部３３に出力する。 Further, the image acquisition unit 31 generates a thumbnail image of the acquired image data. The image acquisition unit 31 assigns an identifier to the generated thumbnail image and image data, and stores the identifier in the data storage unit 35. The image data is compressed and stored in the data storage unit 35. When the data acquisition unit 31 stores data in the data storage unit 35, the generated identifier (an identifier given to the thumbnail image and the image data), the address of the data storage unit 35, and the image data acquired from the image processing unit 21 are stored. The shooting time information is output to the association processing unit 33.

音声取得部３２は、音声入力部９から音声データを入力し、画像データの切り替えタイミングを示すタイミング信号に従って、音声データを分割する。分割した音声データには識別子（音声データ識別子と呼ぶ）を付与して、データ格納部３５に格納する。さらに音声取得部３２は、音声データを格納したデータ格納部３５のアドレスを関連付け処理部３３に出力する。 The audio acquisition unit 32 inputs audio data from the audio input unit 9 and divides the audio data according to a timing signal indicating the switching timing of the image data. An identifier (referred to as an audio data identifier) is assigned to the divided audio data and stored in the data storage unit 35. Furthermore, the voice acquisition unit 32 outputs the address of the data storage unit 35 that stores the voice data to the association processing unit 33.

関連付け処理部３３は、データ格納部３５に格納された画像データ、サムネイル画像、音声データの関連付けを行うために索引ファイルを生成する。なお、以下では、関連付けされる画像データと、サムネイル画像と、音声データとをデータセットと呼ぶ。索引ファイルは、図４に示すようにデータセットごとに付与されるデータ識別子、データセットが生成された時間（年月日）、時間（時分秒）、１回のプレゼンテーションで得られたデータセットに共通に付与されるプレゼン識別子、画像データを識別する画像データ識別子、音声データを識別する音声データ識別子、サムネイル画像を識別するサムネイル識別子などを有している。その他に画像データを格納したデータ格納部３５のアドレス、音声データを格納したデータ格納部３５のアドレス、サムネイル画像を格納したデータ格納部３５のアドレスが保存される。 The association processing unit 33 generates an index file for associating image data, thumbnail images, and audio data stored in the data storage unit 35. Hereinafter, the associated image data, thumbnail image, and audio data are referred to as a data set. As shown in FIG. 4, the index file includes a data identifier assigned to each data set, a time (year / month / day) when the data set was generated, a time (hour / minute / second), and a data set obtained in one presentation. A presentation identifier, an image data identifier for identifying image data, an audio data identifier for identifying audio data, a thumbnail identifier for identifying thumbnail images, and the like. In addition, the address of the data storage unit 35 storing image data, the address of the data storage unit 35 storing audio data, and the address of the data storage unit 35 storing thumbnail images are stored.

関連付け処理部３３は、画像データ、サムネイル画像、音声データにそれぞれ付与された識別子を索引ファイルに格納する時に、画像取得部３１から取得した画像データの撮影時間情報（年月日、時分秒）も索引ファイルに格納する。
また、関連付け処理部３３は、１回のプレゼンテーションで得られるデータセットを識別できるようにプレゼン識別子を付与する。プレゼンテーションの最初に得られるデータセットには、このプレゼンテーションに共通するプレゼン識別子と、プレゼンテーションの開始点であることを示すＳｔａｒｔ情報とが付与される。また、１回のプレゼンテーションで最後に得られるデータセットには、プレゼン識別子と、プレゼンテーションの終了点であることを示すＥnd情報とが付与される。 The association processing unit 33 stores the shooting time information (year / month / day, hour / minute / second) of the image data acquired from the image acquisition unit 31 when storing the identifiers assigned to the image data, thumbnail image, and audio data in the index file. Is also stored in the index file.
In addition, the association processing unit 33 gives a presentation identifier so that a data set obtained in one presentation can be identified. A data set obtained at the beginning of a presentation is given a presentation identifier common to the presentation and Start information indicating the start point of the presentation. In addition, a presentation identifier and End information indicating the end point of the presentation are given to the data set finally obtained in one presentation.

再生制御部３４は、画像と音声の再生を制御するもので、再生制御情報入力部２３から入力された指示に従って処理を実行する。具体的には、指示された識別子（データ識別子、プレゼン識別子、画像データ識別子、音声データ識別子等）を画像・音声再生部３６に通知して、画像・音声再生部３６に画像や音声を再生させる。 The reproduction control unit 34 controls reproduction of images and sounds, and executes processing according to instructions input from the reproduction control information input unit 23. Specifically, the instructed identifier (data identifier, presentation identifier, image data identifier, audio data identifier, etc.) is notified to the image / sound playback unit 36, and the image / sound playback unit 36 plays back the image or sound. .

画像・音声再生部３６は、再生制御部３４によって指示された画像データや音声データをデータ格納部３５から読み出して展開処理し、画像データをプロジェクタ装置１０に、音声データを音声出力部１１に出力する。 The image / sound reproduction unit 36 reads out the image data and sound data instructed by the reproduction control unit 34 from the data storage unit 35 and performs expansion processing, and outputs the image data to the projector device 10 and the sound data to the sound output unit 11. To do.

本実施例のドキュメントカメラ１は、プレゼンテーション資料を撮影した画像データと、この画像データをプロジェクタ装置１０でスクリーンに表示している時の会議での発言を記録した音声データとを関連付けて保存する。そして、画像データを参照するときには、関連付けられた音声データも聞くことができるようにする。 The document camera 1 according to the present embodiment associates and saves image data obtained by photographing presentation materials and audio data in which a speech at a meeting when the image data is displayed on the screen by the projector device 10 is recorded. Then, when referring to the image data, the associated audio data can be heard.

このため、画像取得部３１は、画像処理部２１から画像データを入力して、音声取得部３２に所定タイミング（所定タイミングについては後述する）でタイミング信号を出力する。音声取得部３２は、画像取得部３１から出力されるタイミング信号に従って、音声入力部９から入力する音声データを分割する。分割された音声データは、スクリーンに投影されている画像データではなく、その画像の前にスクリーンに投影されていた画像データについて話し合われた発言を入力した音声データであるので、投影中の画像データの１つ前に撮影された画像データに関連付けて記録される。
なお、画像データには、画像取得部３１で画像データ識別子が付与され、音声データには音声取得部３２で音声データ識別子が付与される。画像取得部３１は、生成した画像データ識別子を生成順に関連付け処理部３３に出力する。同様に音声取得部３２は、生成した音声データ識別子を生成順に関連付け処理部３３に出力する。関連付け処理部３３は、画像取得部３１から入力される画像データ識別子と、音声取得部３２から入力される音声データ識別子とを関連付けて索引ファイルを作成する。 Therefore, the image acquisition unit 31 inputs image data from the image processing unit 21 and outputs a timing signal to the audio acquisition unit 32 at a predetermined timing (the predetermined timing will be described later). The sound acquisition unit 32 divides the sound data input from the sound input unit 9 in accordance with the timing signal output from the image acquisition unit 31. The divided audio data is not the image data projected on the screen, but the audio data in which the utterances discussed about the image data projected on the screen before that image are input, so the image data being projected Is recorded in association with the image data taken immediately before.
The image data identifier is assigned to the image data by the image acquisition unit 31, and the audio data identifier is assigned to the audio data by the audio acquisition unit 32. The image acquisition unit 31 outputs the generated image data identifier to the association processing unit 33 in the order of generation. Similarly, the voice acquisition unit 32 outputs the generated voice data identifier to the association processing unit 33 in the order of generation. The association processing unit 33 creates an index file by associating the image data identifier input from the image acquisition unit 31 with the audio data identifier input from the audio acquisition unit 32.

また、プレゼンテーションの発言者は、資料を見やすく表示するために、スタンド４上の資料の位置や方向を調整したり、ピントを合わせたりすることが多い。さらに、資料上にペンでマーキングや書き込みを行ったり、資料上のある部分をポインティングしたりすることもある。こうした動作によって不要な画像が「変化画像」として多数抽出されることが起こり得る。このような画像を除くため、画像取得部３１は、画像処理部２１から順次入力される画像データから、直前の画像に対して変化のあった画像を抽出する。また、時間的なしきい値を設定し、一定時間以上変化がなかった画像のみを抽出するようにしてもよい。このとき、画像取得部３１は、変化のある画像を入力したことを示すタイミング信号を音声取得部３２に出力する。音声取得部３２は、画像取得部３１からタイミング信号を入力すると、音声入力部９から入力される音声データを区切る。 In addition, the speaker of the presentation often adjusts the position or direction of the material on the stand 4 or focuses it so that the material can be easily viewed. Furthermore, marking or writing may be performed on the material with a pen, or a certain part on the material may be pointed. By such an operation, a large number of unnecessary images may be extracted as “change images”. In order to exclude such an image, the image acquisition unit 31 extracts an image that has changed with respect to the immediately preceding image from the image data sequentially input from the image processing unit 21. Alternatively, a temporal threshold value may be set so that only images that have not changed for a certain period of time may be extracted. At this time, the image acquisition unit 31 outputs a timing signal indicating that a changed image has been input to the sound acquisition unit 32. When receiving the timing signal from the image acquisition unit 31, the audio acquisition unit 32 delimits the audio data input from the audio input unit 9.

次に、図５に示すフローチャートを参照しながら画像取得部３１の処理手順を説明する。
画像処理部２１から画像取得部３１に画像データ（プレゼンテーションが開始されて、最初に入力した画像データを以下では基準画像データと呼ぶ）と、この画像データの撮影時間情報とが出力されると（ステップＳ１）、画像取得部３１は、音声取得部３２にタイミング信号を出力して画像データの取得を通知する（ステップＳ２）。画像取得部３１は、取得した画像データの特徴量を抽出する（ステップＳ３）。抽出される特徴量には、カラーヒストグラム、色分布、一様性パターン、ピクセル数とその配列、エッジ数などが挙げられる。また、画像取得部３１は、取得した画像データのサムネイル画像を生成する（ステップＳ４）。 Next, the processing procedure of the image acquisition unit 31 will be described with reference to the flowchart shown in FIG.
When the image processing unit 21 outputs the image data (presentation is started and the first input image data is hereinafter referred to as reference image data) and the shooting time information of the image data to the image acquisition unit 31 ( In step S1), the image acquisition unit 31 outputs a timing signal to the audio acquisition unit 32 to notify the acquisition of image data (step S2). The image acquisition unit 31 extracts the feature amount of the acquired image data (step S3). The extracted feature quantity includes a color histogram, a color distribution, a uniformity pattern, the number of pixels and their arrangement, the number of edges, and the like. Further, the image acquisition unit 31 generates a thumbnail image of the acquired image data (step S4).

次に、画像取得部３１は、取得した画像データと、生成したサムネイル画像とにそれぞれ識別子を付与し、画像データとサムネイル画像とをデータ格納部３５に格納する（ステップＳ５）。 Next, the image acquisition unit 31 assigns identifiers to the acquired image data and the generated thumbnail image, and stores the image data and the thumbnail image in the data storage unit 35 (step S5).

次に、画像取得部３１は、基準画像データの撮影時間情報と、画像データとサムネイル画像との識別子と、これらのデータを格納したデータ格納部３５のアドレスとを関連付け処理部３３に出力する（ステップＳ６）。 Next, the image acquisition unit 31 outputs the shooting time information of the reference image data, the identifier of the image data and the thumbnail image, and the address of the data storage unit 35 storing these data to the association processing unit 33 ( Step S6).

次の画像データ（以下、この画像データを比較対象画像データと呼ぶ）が入力されると（ステップＳ７／ＹＥＳ）、画像取得部３１は、取得した比較対象画像データの特徴量を抽出する（ステップＳ８）。そして、基準画像データから抽出した特徴量と、比較対象画像データから抽出した特徴量とを比較する（ステップＳ９）。両者に予め設定された許容範囲以上の差があった場合（ステップＳ９／ＮＯ）、画像取得部３１は比較対象画像データを変化のあった画像候補（以下、変化画像候補と呼ぶ）と判定する。変化画像候補を検出すると、画像取得部３１は、変化画像候補と、画像処理部２１から順次入力される比較対象画像データとの比較を始める（ステップＳ１１）。 When the next image data (hereinafter, this image data is referred to as comparison target image data) is input (step S7 / YES), the image acquisition unit 31 extracts the feature amount of the acquired comparison target image data (step S7). S8). Then, the feature amount extracted from the reference image data is compared with the feature amount extracted from the comparison target image data (step S9). If there is a difference greater than a preset allowable range between the two (step S9 / NO), the image acquisition unit 31 determines that the comparison target image data is a changed image candidate (hereinafter referred to as a changed image candidate). . When the change image candidate is detected, the image acquisition unit 31 starts comparison between the change image candidate and the comparison target image data sequentially input from the image processing unit 21 (step S11).

位置調整やピント合わせ等の操作が変化画像として検出されないようにするために「変化画像候補」として抽出した画像のうち、所定時間（例えば、４秒）以上変化のなかったものだけを検出する（ステップＳ１２）。所定時間以上変化のなかった画像データを検出すると、画像取得部３１は、タイミング信号を音声取得部３２に出力する（ステップＳ１３）。また、この画像データを「変化画像」（画像に変化のあった画像）に設定し、画像取得部３１は変化画像のサムネイルを作成する（ステップＳ１４）。そして、画像取得部３１は、変化画像データと、この変化画像データのサムネイル画像とに識別子を付与し、変化画像データを圧縮する。画像取得部３１は、圧縮した変化画像データとサムネイルとをデータ格納部３５に格納する（ステップＳ１５）。また、変化画像として検出した画像データと、このサムネイル画像の識別子と、撮影時間情報と、データを格納したデータ格納部３５のアドレスとを関連付け処理部３３に出力する（ステップＳ１６）。また、検出した変化画像を、次の基準画像データとして、画像処理部２１から入力される画像データとの比較を行う（ステップＳ１７）。 In order to prevent operations such as position adjustment and focusing from being detected as a change image, only images that have not changed for a predetermined time (for example, 4 seconds) are detected from the images extracted as “change image candidates” ( Step S12). When image data that has not changed for a predetermined time or longer is detected, the image acquisition unit 31 outputs a timing signal to the audio acquisition unit 32 (step S13). Further, this image data is set to “change image” (an image in which the image has changed), and the image acquisition unit 31 creates a thumbnail of the change image (step S14). Then, the image acquisition unit 31 assigns an identifier to the change image data and the thumbnail image of the change image data, and compresses the change image data. The image acquisition unit 31 stores the compressed change image data and thumbnails in the data storage unit 35 (step S15). Further, the image data detected as the change image, the identifier of the thumbnail image, the shooting time information, and the address of the data storage unit 35 storing the data are output to the association processing unit 33 (step S16). Further, the detected change image is compared with the image data input from the image processing unit 21 as the next reference image data (step S17).

また、ステップＳ１２において、所定時間内に特徴量の差がしきい値以上の比較対象画像データを検出した場合には（ステップＳ１２／ＮＯ）、変化画像候補の画像データを破棄して、基準画像データと比較対象画像データとの比較を再開する（ステップＳ１８）。また、ステップＳ７において、比較対象画像データが所定時間を経過しても入力されない場合には（ステップＳ１９／ＹＥＳ）、１回のプレゼンテーションが終了したと判定し、処理を終了する。 In step S12, if comparison target image data having a feature amount difference equal to or greater than a threshold value is detected within a predetermined time (step S12 / NO), the change image candidate image data is discarded and the reference image is discarded. The comparison between the data and the comparison target image data is resumed (step S18). In step S7, if the comparison target image data is not input even after a predetermined time has elapsed (step S19 / YES), it is determined that one presentation has been completed, and the process is terminated.

このように、データの特徴量に変化が生じた画像データだけを取り込むことで、不要な画像データを保存する必要がなくなり、データ格納部３５の容量を無駄に消費することがない。 In this way, by capturing only the image data in which the feature amount of the data has changed, unnecessary image data need not be stored, and the capacity of the data storage unit 35 is not wasted.

なお、変化画像の抽出方法は、上述した以外にも種々の方法がある。
第１に、ＯＣＲ（Optical Character Reader）によって画像データからテキスト情報を抽出し、文字数、文字サイズ、文字の一致性を判定して変化画像の抽出を行うことができる。
第２に、スタンド４上の原稿設置領域５にフォトセンサ（本発明の第２検出手段に該当する）を設けて、資料の切り替えと、そのタイミングとを記録してもよい。
第３に、利用者が行うズームやマーカ表示などによって入力される操作信号に基づいて、直後の画像を変化画像として抽出することもできる。
第４に、撮影指示操作部２５の操作によって、ユーザが資料の撮影を指示すると、第１画像入力部２で撮影した画像を画像取得部３１で取得するようにしてもよい。
また、以上述べた方法を組み合わせて用いてもよい。 Note that there are various methods other than those described above as the method for extracting the change image.
First, text information can be extracted from image data by OCR (Optical Character Reader), and a change image can be extracted by determining the number of characters, character size, and character matching.
Second, a photo sensor (corresponding to the second detection means of the present invention) may be provided in the document placement area 5 on the stand 4 to record the switching of materials and the timing thereof.
Thirdly, the immediately following image can be extracted as a change image based on an operation signal input by zooming or marker display performed by the user.
Fourthly, when the user gives an instruction to shoot a material by operating the shooting instruction operation unit 25, the image acquired by the first image input unit 2 may be acquired by the image acquisition unit 31.
Moreover, you may use combining the method described above.

関連付け処理部３３は、画像取得部３１と音声取得部３２とから取得した情報を基に、データ格納部３５に格納した索引ファイルの書き換えを行う。関連付け処理部３３は、データ格納部３５から読み出した索引ファイルに、図４に示すように新たなエントリーテーブルを追加して、必要なデータを書き込む処理を行う。書き換えられた索引ファイルは、データ格納部３５に格納される。 The association processing unit 33 rewrites the index file stored in the data storage unit 35 based on the information acquired from the image acquisition unit 31 and the sound acquisition unit 32. The association processing unit 33 performs a process of adding a new entry table to the index file read from the data storage unit 35 and writing necessary data as shown in FIG. The rewritten index file is stored in the data storage unit 35.

次に、取得した画像データと音声データの再生について説明する。
本実施例のドキュメントカメラでは、データ格納部３５に格納した画像データのサムネイル表示が可能であり、サムネイル画像をコントロールパネル７から選択することによって、対応する画像データの全画面表示と、音声再生とが可能となる。
再生開始、再生終了、一時停止、巻き戻し、早送りなどの操作は、コントロールパネル７上のボタン操作で行うことができる。なお、サムネイルや画像は、本体スタンド４上部の液晶ディスプレイ６に表示されるが、プロジェクタやディスプレイをドキュメントカメラ１に接続すれば、これらの表示装置でも表示することができる。 Next, reproduction of the acquired image data and audio data will be described.
In the document camera of this embodiment, thumbnail display of image data stored in the data storage unit 35 is possible. By selecting a thumbnail image from the control panel 7, full screen display of corresponding image data, audio reproduction, Is possible.
Operations such as playback start, playback end, pause, rewind, and fast forward can be performed by operating buttons on the control panel 7. The thumbnails and images are displayed on the liquid crystal display 6 above the main unit stand 4, but can be displayed on these display devices if the projector or display is connected to the document camera 1.

次に、サムネイル画像の表示について説明する。ユーザによってコントロールパネル７上の所定ボタンや、液晶ディスプレイ６に表示された所定ボタンが選択されると、再生制御部３４は、データ格納部３５より索引ファイルを読み出す。そして、索引ファイルの時間（年月日）を参照して、最も新しくデータ格納部３５に格納された資料を検出する。再生制御部３４は、この最新資料のサムネイル画像をデータ格納部３５から読み出して登録データ表示部２４に表示させる。
なお、図３に示す液晶ディスプレイ６の例では、左上のサムネイルが選択可能な状態にある。ユーザは、コントロールパネル７を操作して、画像を表示させたいサムネイルを選択可能状態にする。また、同じプレゼン識別子で登録されたサムネイルの表示が終了しても、画像データが選択されない場合、再生制御部３４は、次に新しい資料を選択して、このサムネイル画像を表示させる。 Next, display of thumbnail images will be described. When the user selects a predetermined button on the control panel 7 or a predetermined button displayed on the liquid crystal display 6, the reproduction control unit 34 reads the index file from the data storage unit 35. Then, by referring to the time (year / month / day) of the index file, the latest material stored in the data storage unit 35 is detected. The reproduction control unit 34 reads out the thumbnail image of the latest material from the data storage unit 35 and causes the registered data display unit 24 to display the thumbnail image.
In the example of the liquid crystal display 6 shown in FIG. 3, the upper left thumbnail is in a selectable state. The user operates the control panel 7 to enable selection of a thumbnail for which an image is to be displayed. In addition, even when the display of the thumbnails registered with the same presentation identifier is completed, if no image data is selected, the reproduction control unit 34 next selects a new material and displays this thumbnail image.

サムネイル画像が選択状態にあるときに、所定ボタンが操作されると、再生制御部３４は、選択されたサムネイルに対応する画像データと音声データの識別子を索引ファイルから読み出す。再生制御部３４は、これらの識別子情報を画像・音声再生部３６に通知する。画像・音声再生部３６は、再生制御部３４から通知された識別子の画像データと音声データとをデータ格納部３５から読み出して、展開処理し、画像データを表示装置１０に、音声データを音声出力部１１に出力する。１組の画像データと音声データの再生が終了すると、同じプレゼン識別子で登録され、再生終了した画像データや音声データよりも時間が１つ新しい画像データ、音声データを読み出す。読み出された画像データは表示装置１０に出力され、音声データは音声出力部１１に出力される。 When a predetermined button is operated while the thumbnail image is in a selected state, the reproduction control unit 34 reads out the identifier of the image data and audio data corresponding to the selected thumbnail from the index file. The playback control unit 34 notifies the identifier information to the image / sound playback unit 36. The image / sound reproduction unit 36 reads out the image data and the sound data of the identifier notified from the reproduction control unit 34 from the data storage unit 35, develops them, outputs the image data to the display device 10, and outputs the sound data to the sound. To the unit 11. When the reproduction of one set of image data and audio data is completed, image data and audio data that are registered with the same presentation identifier and are one time newer than the reproduced image data and audio data are read. The read image data is output to the display device 10, and the audio data is output to the audio output unit 11.

上述した実施例１では、スタンド４に載せられたプレゼンテーション資料の画像と、それに対応する発言者の音声とを記録して再生するものであった。
しかしこれらの情報だけでは、発言者が誰なのか、そのとき誰が会議に参加していたのか、どの会議室で行われた会議なのかといったことまでは分からない。
そこで、本実施例では、画像データと音声データに加えて、発言者や会議参加者の顔写真、会議室の様子を撮影し、撮影した画像を資料画像や音声データに対応付けてデータ格納部３５に格納する。そして、資料画像や音声の再生時に、発言者や会議参加者の顔画像も一緒に表示できるようにする。 In the first embodiment described above, the image of the presentation material placed on the stand 4 and the voice of the corresponding speaker are recorded and reproduced.
However, this information alone does not tell who the speaker is, who was participating in the conference at that time, and in which conference room the conference was held.
Therefore, in this embodiment, in addition to image data and audio data, a photograph of a face of a speaker or a participant in a conference, a state of a meeting room is captured, and the captured image is associated with a document image or audio data to store data 35. Then, the face images of the speaker and the conference participant can be displayed together when reproducing the document image and the sound.

本実施例の構成を図６に示す。図６に示すように本実施例は、スタンド４上に置かれた資料を撮影する第１画像入力部２の他に、発言者、会議参加者や会議室の様子などを撮影する第２画像入力部４０を設けている。
第２画像入力部４０は、別々の被写体（発言者と会場）を撮影するために複数台設置してもよいし、またカメラをアームに固定せずに三脚を利用してもよい。また、会議参加者が第２画像入力部４０としてのカメラを持って撮影してもよい。 The configuration of this embodiment is shown in FIG. As shown in FIG. 6, in the present embodiment, in addition to the first image input unit 2 that photographs the material placed on the stand 4, a second image that photographs a speaker, a conference participant, a conference room, and the like. An input unit 40 is provided.
A plurality of second image input units 40 may be installed to shoot different subjects (speaker and venue), or a tripod may be used without fixing the camera to the arm. In addition, the conference participant may take a picture with a camera as the second image input unit 40.

また、本実施例は、図７に示すように撮影タイミング制御部３７を新たに設けている。撮影タイミング制御部３７は、第２画像入力部４０の撮影タイミングを管理する。撮影タイミング制御部３７の撮影タイミングは、図８に示すように一定時間間隔ごとであってもよいし、撮影タイミング制御部３７に、タイムスケジュールを設定しておいて、このタイムスケジュールに従って撮影してもよい。
また、第１画像入力部２の撮影画像に変化画像が抽出された後の一定時間後に撮影してもよいし、各種センサを利用して、センサ値に変化が表れた時に撮影してもよい。例えば、音量センサを設けて、一定以上の音量が検出された時に撮影することができる。なお、第２画像入力部４０のカメラで撮影された画像データや、撮影時刻情報は、第２画像入力部４０内部の記憶領域に格納しておき、後からドキュメントカメラ１に取り込んでもよいし、無線を利用してリアルタイムにドキュメントカメラ１に転送して保存することもできる。 Further, in this embodiment, a photographing timing control unit 37 is newly provided as shown in FIG. The shooting timing control unit 37 manages the shooting timing of the second image input unit 40. The shooting timing of the shooting timing control unit 37 may be at regular time intervals as shown in FIG. 8, or a time schedule is set in the shooting timing control unit 37, and shooting is performed according to this time schedule. Also good.
Further, the image may be taken after a certain time after the change image is extracted from the photographed image of the first image input unit 2, or may be photographed when a change appears in the sensor value using various sensors. . For example, a sound volume sensor can be provided to take a picture when a sound volume above a certain level is detected. The image data photographed by the camera of the second image input unit 40 and the photographing time information may be stored in a storage area inside the second image input unit 40 and may be taken into the document camera 1 later. It is also possible to transfer and save the document camera 1 in real time using radio.

図９に、関連付け処理部３３によって作成された索引ファイルを示す。図９に斜線で示すデータセットは、第２画像入力部２５で撮影された画像データを示している。第１画像入力部２で撮影された画像データ及びそのサムネイル画像と、音声入力部９で入力した音声データとのデータセットと同じプレゼン識別子を付与されて、索引ファイルに登録されている。 FIG. 9 shows an index file created by the association processing unit 33. A data set indicated by diagonal lines in FIG. 9 indicates image data captured by the second image input unit 25. The same presentation identifier as that of the data set of the image data taken by the first image input unit 2 and its thumbnail image and the audio data input by the audio input unit 9 is given and registered in the index file.

本実施例は、ドキュメントカメラ１で生成したデータセットを、ネットワークを介して遠隔地のユーザ端末７０に配信可能に構成した。本実施例の構成を図１０に示す。本実施例は、図１０に示すようにＵＲＬ（Uniform Resource Locator）割り当て部３８と、データ取得部３９と、データ配信部５０と、ネットワークＩＦ部５１とをさらに備えている。 In this embodiment, the data set generated by the document camera 1 can be distributed to the user terminal 70 at a remote location via the network. The configuration of this embodiment is shown in FIG. This embodiment further includes a URL (Uniform Resource Locator) allocation unit 38, a data acquisition unit 39, a data distribution unit 50, and a network IF unit 51, as shown in FIG.

ＵＲＬ割り当て部３８は、画像取得部３１で取得した画像データにＵＲＬ（サーバ名、ポート番号、フォルダ名、ファイル名など）を割り当てる。割り当てられたＵＲＬ情報は、関連付け処理部３３によって索引ファイルに格納される。 The URL assignment unit 38 assigns a URL (server name, port number, folder name, file name, etc.) to the image data acquired by the image acquisition unit 31. The assigned URL information is stored in the index file by the association processing unit 33.

データ配信部５０は、ネットワークインターフェース部５１を介してユーザ端末７０に接続し、ユーザ端末７０から入力されたデータの取得要求をデータ取得部３９に出力する。データ取得部３９は、データ配信部５０からの要求に従って、指示された画像データ、音声データ、索引データをデータ格納部３５から読み出し、データ配信部５０に出力する。データ配信部５０は、取得した画像データ、音声データ、索引データを１つの配信データファイルにまとめ、要求元のユーザ端末７０に配信する。 The data distribution unit 50 is connected to the user terminal 70 via the network interface unit 51, and outputs a data acquisition request input from the user terminal 70 to the data acquisition unit 39. The data acquisition unit 39 reads the instructed image data, audio data, and index data from the data storage unit 35 in accordance with a request from the data distribution unit 50, and outputs it to the data distribution unit 50. The data distribution unit 50 collects the acquired image data, audio data, and index data into one distribution data file and distributes it to the requesting user terminal 70.

ユーザ端末７０は、ドキュメントカメラ１から配信データファイルを取得すると、アプリケーションプログラムを起動して、画像の表示、音声の再生を行う。 When the user terminal 70 acquires the distribution data file from the document camera 1, the user terminal 70 activates an application program to display an image and reproduce sound.

本実施例は、ドキュメントカメラ１にＷｅｂサーバ機能を搭載した。ユーザは、ユーザ端末７０にインストールされたインターネットブラウザからＵＲＬを指定して、ドキュンメントカメラ１にアクセスする。 In this embodiment, the document camera 1 is equipped with a Web server function. The user accesses the document camera 1 by specifying a URL from an Internet browser installed on the user terminal 70.

ドキュメントカメラ１は、ユーザ端末７０からのアクセスを受け付けると、データ配信部５０で指定されたＨＴＭＬトップ画面をブラウザに返信し、表示する。
ユーザ端末７０に表示されるＨＴＭＬトップ画面には、格納された画像のサムネイルが表示される。表示されたサムネイルから、ユーザが所望のものを選択すると、選択情報がデータ配信部５０からデータ取得部３９に送られる。データ取得部３９は、データ格納部３５にアクセスし、選択されたサムネイルと組になった画像データ、音声データ、索引データを抽出する。所望とする画像データ、音声データ、索引データは、データ配信部５０に渡され、１つの配信データファイルにまとめられ、クライアント端末に転送される。なお、データ取得部３９での処理は、ＣＧＩ（Common Gateway Interface）プログラムによって実現することができる。 When the document camera 1 accepts access from the user terminal 70, the document camera 1 returns the HTML top screen designated by the data distribution unit 50 to the browser and displays it.
On the HTML top screen displayed on the user terminal 70, thumbnails of stored images are displayed. When the user selects a desired thumbnail from the displayed thumbnails, selection information is sent from the data distribution unit 50 to the data acquisition unit 39. The data acquisition unit 39 accesses the data storage unit 35 and extracts image data, audio data, and index data paired with the selected thumbnail. Desired image data, audio data, and index data are transferred to the data distribution unit 50, collected into one distribution data file, and transferred to the client terminal. The processing in the data acquisition unit 39 can be realized by a CGI (Common Gateway Interface) program.

データ格納部３５に多数の画像データや音声データが格納されている場合、サムネイルやファイルの一覧を表示しただけでは、視聴したいデータを見つけ出すのが困難な場合がある。そこで、本実施例では、キーワード検索によって、所望の画像データや音声データを効率的に見つけることができるようにした。 When a large number of image data and audio data are stored in the data storage unit 35, it may be difficult to find data to be viewed simply by displaying a list of thumbnails and files. Therefore, in this embodiment, desired image data and audio data can be efficiently found by keyword search.

本実施例の構成を図１１に示す。図１１に示すように本実施例は、画像取得部３１で取得した画像データに対して、文字認識部６０が文字認識処理を行い、テキスト情報を取り出す。さらに、抽出したテキスト情報に対して形態素解析を行って、テキスト情報を形態素に分離する。 The configuration of this embodiment is shown in FIG. As shown in FIG. 11, in this embodiment, the character recognition unit 60 performs character recognition processing on the image data acquired by the image acquisition unit 31 and extracts text information. Further, morphological analysis is performed on the extracted text information to separate the text information into morphemes.

また、音声取得部３２で取得した音声データに対して、音声認識部６１が音声認識処理を行い、テキスト情報を抽出する。さらに、抽出したテキスト情報に対して形態素解析を行って、テキスト情報を形態素に分離する。 The voice recognition unit 61 performs voice recognition processing on the voice data acquired by the voice acquisition unit 32, and extracts text information. Further, morphological analysis is performed on the extracted text information to separate the text information into morphemes.

関連付け処理部３３は、画像データと音声データの形態素を索引ファイルに登録する。なお、画像から抽出した形態素と、音声から抽出した形態素とを区別して索引ファイルに登録してもよい。こうすることによって、画像と音声の情報ソースを区別したキーワード検索が可能となる。 The association processing unit 33 registers morphemes of image data and audio data in the index file. Note that the morpheme extracted from the image and the morpheme extracted from the sound may be distinguished and registered in the index file. This makes it possible to perform a keyword search that distinguishes between image and audio information sources.

図１２には、キーワード検索によってユーザ端末７０に表示されるインターフェース画面を示す。図１２に示すインターフェース画面には、キーワードを入力する入力欄と、検索対象のデータを画像だけにするか、音声だけにするか、画像と音声の両方にするのかを選択するチェックボックスと、検索結果とが表示されている。検索の結果、キーワードを含む画像データが検出された場合には、画像データのサムネイル画像が検索結果として表示される。音声データだけが検索された場合には、会議のＩＤや、記録日時、記録場所等のデータを表示してもよい。また、検出されたデータの種別も表示されるとよい。すなわち、画像データと音声データの両方が検出されたのか、画像データだけが検出されたのか、音声データだけが検出されたのかを表示する。 FIG. 12 shows an interface screen displayed on the user terminal 70 by keyword search. The interface screen shown in FIG. 12 includes an input field for inputting a keyword, a check box for selecting whether the search target data is an image only, an audio only, or both an image and an audio, and a search Results and are displayed. When image data including a keyword is detected as a result of the search, a thumbnail image of the image data is displayed as the search result. When only audio data is searched, data such as conference ID, recording date and time, and recording location may be displayed. In addition, the type of detected data may be displayed. That is, it is displayed whether both image data and audio data have been detected, whether only image data has been detected, or only audio data has been detected.

上述した実施例は本発明の好適な実施の例である。但し、これに限定されるものでなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The embodiment described above is a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

実施例１のドキュメントカメラの外観を示す図である。1 is a diagram illustrating an external appearance of a document camera according to Embodiment 1. FIG. 実施例１のドキュメントカメラの詳細な構成を示す機能ブロック図である。FIG. 3 is a functional block diagram illustrating a detailed configuration of the document camera according to the first exemplary embodiment. コントロールパネルと液晶ディスプレイとの構成を示す図である。It is a figure which shows the structure of a control panel and a liquid crystal display. 実施例１の索引ファイルの構成を示す図である。It is a figure which shows the structure of the index file of Example 1. FIG. 画像取得部３１の処理手順を示すフローチャートである。4 is a flowchart illustrating a processing procedure of an image acquisition unit 31. 実施例２のドキュメントカメラの外観を示す図である。6 is a diagram illustrating an appearance of a document camera according to Embodiment 2. FIG. 実施例２のドキュメントカメラの詳細な構成を示す図である。6 is a diagram illustrating a detailed configuration of a document camera according to Embodiment 2. FIG. 第１画像入力部と第２画像入力部の画像記録タイミングを示す図である。It is a figure which shows the image recording timing of a 1st image input part and a 2nd image input part. 実施例２の索引ファイルの構成を示す図である。It is a figure which shows the structure of the index file of Example 2. FIG. 実施例３のドキュメントカメラの詳細な構成を示す図である。FIG. 10 is a diagram illustrating a detailed configuration of a document camera according to a third embodiment. 実施例４のドキュメントカメラの詳細な構成を示す図である。FIG. 10 is a diagram illustrating a detailed configuration of a document camera according to a fourth embodiment. ユーザ端末に表示されるインターフェース画面の一例を示す図である。It is a figure which shows an example of the interface screen displayed on a user terminal.

符号の説明Explanation of symbols

１ドキュメントカメラ
２画像入力部
３フレキシブルアーム
４スタンド
５原稿設置領域
６液晶ディスプレイ
７コントロールパネル
８マイク端子
９マイク
１０表示装置
２１画像処理部
２２記録開始・終了操作部
２３再生制御情報入力部
２４登録データ表示部
２５撮影指示操作部
３１画像取得部
３２音声取得部
３３関連付け処理部
３４再生制御部
３５データ格納部
３６画像・音声再生部
３７撮影タイミング制御部
３８ＵＲＬ割り当て部
３９データ取得部
４０第２画像入力部
DESCRIPTION OF SYMBOLS 1 Document camera 2 Image input part 3 Flexible arm 4 Stand 5 Original installation area 6 Liquid crystal display 7 Control panel 8 Microphone terminal 9 Microphone 10 Display apparatus 21 Image processing part 22 Recording start / end operation part 23 Playback control information input part 24 Registration data Display unit 25 Shooting instruction operation unit 31 Image acquisition unit 32 Audio acquisition unit 33 Association processing unit 34 Playback control unit 35 Data storage unit 36 Image / audio playback unit 37 Shooting timing control unit 38 URL assignment unit 39 Data acquisition unit 40 Second image Input section

Claims

スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ装置であって、
撮影される画像データを順次入力し、順次入力した画像データの画像を比較して画像に変化のある画像データを検出し、該画像データを検出したタイミングを、前記スクリーンに投影された投影用の画像データが切り替えられた切替タイミングとして検出すると共に、前記画像に変化のある画像データを記憶手段に記憶させる検出手段と、
発言者の音声を音声データとして取り込む音声入力手段と、
前記検出手段の検出した切替タイミングに応じて前記音声データを分割し、分割した音声データを前記記憶手段に記憶させる分割手段と、
前記画像に変化のある画像データと、前記分割手段で分割された音声データであって、前記画像に変化のある画像データが前記スクリーンに投影されている間に入力した音声データとを関連付けたファイルを作成して前記記憶手段に格納する関連付け手段とを有し、
前記検出手段は、画像データの画像特徴量を抽出し、該画像特徴量と前記直前の画像データの画像特徴量とを比較することで、前記画像に変化のある画像データを検出し、
前記検出手段は、画像のカラーヒストグラムと、色分布と、濃度一様な画像パターン数と、画素数と画素配列と、画像のエッジ数との少なくとも１つを前記画像特徴量として抽出することを特徴とするドキュメントカメラ装置。 A document camera device for photographing image data for projection projected on a screen,
The image data to be photographed are sequentially input, the images of the sequentially input image data are compared to detect image data having a change in the image, and the timing at which the image data is detected is determined for the projection projected on the screen. Detecting means for detecting the switching timing when the image data is switched, and storing the image data having a change in the image in a storage means ;
Voice input means for capturing the voice of the speaker as voice data;
Dividing means for dividing the audio data according to the switching timing detected by the detection means, and storing the divided audio data in the storage means ;
And image data with a change in the image, an audio data divided by said dividing means, the file in which the image data having the change in the image associated with the audio data inputted while it is projected on the screen And an associating means for creating and storing in the storage means ,
The detection means detects image data having a change in the image by extracting an image feature amount of the image data and comparing the image feature amount with an image feature amount of the immediately preceding image data,
The detecting means extracts at least one of an image color histogram, a color distribution, the number of image patterns with uniform density, the number of pixels, a pixel array, and the number of edges of the image as the image feature amount. A document camera device.

スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ装置であって、
撮影される画像データを順次入力し、順次入力した画像データの画像を比較して画像に変化のある画像データを検出し、該画像データを検出したタイミングを、前記スクリーンに投影された投影用の画像データが切り替えられた切替タイミングとして検出すると共に、前記画像に変化のある画像データを記憶手段に記憶させる検出手段と、
発言者の音声を音声データとして取り込む音声入力手段と、
前記検出手段の検出した切替タイミングに応じて前記音声データを分割し、分割した音声データを前記記憶手段に記憶させる分割手段と、
前記画像に変化のある画像データと、前記分割手段で分割された音声データであって、前記画像に変化のある画像データが前記スクリーンに投影されている間に入力した音声データとを関連付けたファイルを作成して前記記憶手段に格納する関連付け手段とを有し、
前記検出手段は、画像データから抽出したテキスト情報と、前記直前の画像データから抽出したテキスト情報とを比較して、前記画像に変化のある画像データを検出することを特徴とするドキュメントカメラ装置。 A document camera device for photographing image data for projection projected on a screen,
The image data to be photographed are sequentially input, the images of the sequentially input image data are compared to detect image data having a change in the image, and the timing at which the image data is detected is determined for the projection projected on the screen. Detecting means for detecting the switching timing when the image data is switched, and storing the image data having a change in the image in a storage means ;
Voice input means for capturing the voice of the speaker as voice data;
Dividing means for dividing the audio data according to the switching timing detected by the detection means, and storing the divided audio data in the storage means ;
And image data with a change in the image, an audio data divided by said dividing means, the file in which the image data having the change in the image associated with the audio data inputted while it is projected on the screen And an associating means for creating and storing in the storage means ,
The document camera apparatus characterized in that the detecting means compares text information extracted from image data with text information extracted from the immediately preceding image data, and detects image data having a change in the image .

前記投影用の画像データを撮影する第１撮影手段を備え、
前記検出手段は、前記第１撮影手段に撮影を指示する操作手段からの操作入力を検出して、前記切替タイミングを検出することを特徴とする請求項１又は２記載のドキュメントカメラ装置。 First imaging means for imaging the projection image data;
3. The document camera device according to claim 1, wherein the detection unit detects an operation input from an operation unit that instructs the first photographing unit to perform photographing, and detects the switching timing.

前記投影用の画像データを撮影する第１撮影手段を備え、
前記検出手段は、前記第１撮影手段の撮影位置に資料が配置されているか否かを検出する第２検出手段からの信号を入力して、前記切替タイミングを検出することを特徴とする請求項１又は２記載のドキュメントカメラ装置。 First imaging means for imaging the projection image data;
The detection means detects the switching timing by inputting a signal from a second detection means for detecting whether or not a material is arranged at the photographing position of the first photographing means. 3. The document camera device according to 1 or 2 .

前記画像に変化のある画像データと、該画像データに関連付けられた、分割された音声データとを前記記憶手段から読み出して、再生させる再生制御手段を有することを特徴とする請求項１から４のいずれか一項記載のドキュメントカメラ装置。 And image data having the change in the image, associated with the image data, divided and audio data read out from said memory means, from claim 1, characterized in that it comprises a reproduction control means for reproducing 4 The document camera device according to claim 1.

発言者や会議室の様子を撮影し、撮影された画像データを記憶する第２撮影手段を備え、
前記関連付け手段は、前記第２撮影手段で撮影された画像データと、前記画像に変化のある画像データと、前記分割手段で分割された音声データとを関連付けたファイルを作成して前記記憶手段に記憶させることを特徴とする請求項１から５のいずれか１項記載のドキュメントカメラ装置。 The second photographing means for photographing the state of the speaker and the conference room and storing the photographed image data ,
The associating means creates a file in which the image data photographed by the second photographing means, the image data having a change in the image, and the audio data divided by the dividing means are associated with each other in the storage means. 6. The document camera device according to claim 1, wherein the document camera device stores the document camera.

撮影された画像データのサムネイル画像を作成し、作成したサムネイル画像を前記記憶手段に記憶させるサムネイル作成手段を有し、
前記関連付け手段は、前記サムネイル画像と、前記画像に変化のある画像データであって前記サムネイル画像の作成元となる画像データと、前記分割手段で分割された音声データとを関連付けたファイルを作成して前記記憶手段に記憶させることを特徴とする請求項１から６のいずれか一項記載のドキュメントカメラ装置。 A thumbnail creating unit for creating a thumbnail image of the captured image data and storing the created thumbnail image in the storage unit ;
The associating means creates a file associating the thumbnail image, the image data having a change in the image, the image data from which the thumbnail image is created, and the audio data divided by the dividing means. document camera apparatus according to any one claim of 6 claim 1, characterized in that to be stored in the storage means Te.

撮影された画像データからテキスト情報を抽出し、該テキスト情報に形態素解析を行って得た前記テキスト情報の各形態素を前記記憶手段に格納する文字認識手段と、
前記音声入力手段が入力した音声データに音声認識処理を行ってテキスト情報を抽出し、該テキスト情報に形態素解析を行って得た前記テキスト情報の各形態素を前記記憶手段に格納する音声認識手段とを有し、
前記関連付け手段は、前記形態素を、該形態素を検出した画像データ又は音声データに関連付けて前記記憶手段に格納し、
検索語を含む画像データ又は音声データを前記記憶手段から検索する検索手段を有することを特徴とする請求項１から７のいずれか一項記載のドキュメントカメラ装置。 Character recognition means for extracting text information from the captured image data and storing each morpheme of the text information obtained by performing morphological analysis on the text information in the storage means;
Speech recognition means for performing speech recognition processing on speech data input by the speech input means to extract text information , and storing each morpheme of the text information obtained by performing morpheme analysis on the text information in the storage means; Have
The association means stores the morpheme in the storage means in association with image data or audio data in which the morpheme is detected,
Search word document camera apparatus of claims 1, wherein 7 to any one claim of having a search unit image data or the sound data retrieved from said storage means comprises a.