JP2006053606A - Information display device and electronic book device - Google Patents
Information display device and electronic book device Download PDFInfo
- Publication number
- JP2006053606A JP2006053606A JP2004232679A JP2004232679A JP2006053606A JP 2006053606 A JP2006053606 A JP 2006053606A JP 2004232679 A JP2004232679 A JP 2004232679A JP 2004232679 A JP2004232679 A JP 2004232679A JP 2006053606 A JP2006053606 A JP 2006053606A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- display
- screen
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、情報表示装置及びいわゆる電子ブックリーダー等と呼称される電子書籍装置に関する。より詳しくは、電子化された情報をディスプレイに表示する情報表示装置、及び、書籍等における文字や図表、絵等の情報を電子化して情報記憶媒体に記憶し、呼び出して表示する電子書籍装置に関するものである。 The present invention relates to an information display device and an electronic book device called a so-called electronic book reader. More specifically, the present invention relates to an information display device that displays digitized information on a display, and an electronic book device that digitizes information such as letters, diagrams, and pictures in a book, stores the information in an information storage medium, and calls and displays the information. Is.
情報表示装置は、情報記憶媒体等から文字や画像データを読み込んで画面上に表示させる電子機器であり、紙に情報を印刷して表示する等の従来の情報伝達手段に代わって、情報の取得手段として広く普及し日常生活等に欠かすことができないものとなっている。情報表示装置の中でも、主に書籍内容を表示させる携帯型の電子書籍装置は、書籍を読むのと同じような感覚で、電子機器を用いて読書や勉強をすることを可能とするものであり、電子情報端末の1つの用途として商品化され、大いに普及するものと期待されている。 An information display device is an electronic device that reads characters and image data from an information storage medium, etc., and displays them on a screen, and acquires information in place of conventional information transmission means such as printing and displaying information on paper. Widely used as a means, it is indispensable for daily life. Among information display devices, portable electronic book devices that mainly display book contents enable reading and studying using electronic devices with the same feeling as reading books. It has been commercialized as one application of electronic information terminals and is expected to become very popular.
このような電子書籍装置においては、単に書籍のコンテンツを携帯型の情報表示装置により表示させるだけではなく、例えば、(1)直感的な簡便な動作で装置を操作できるようにし、紙の書籍を取り扱う場合と同じような感覚で取り扱えるようにすることや、(2)書籍等の内容を電子化して取り扱う利点を最大限に引き出し、紙の書籍にはない利便性等を付与することが重要視される。現在の電子書籍の市場においては、書籍内容をモノクロ表示するもの、簡易動画や音声機能を有するものがあるが、電子書籍に求められる簡便性や利便性をより充実することが求められている。 In such an electronic book device, the content of the book is not only displayed on the portable information display device, but for example, (1) the device can be operated with an intuitive and simple operation, It is important to be able to handle it in the same way as handling it, and (2) to maximize the benefits of handling the contents of books etc. electronically and to provide convenience etc. that are not found in paper books. Is done. In the current electronic book market, there are ones that display the contents of books in black and white and those that have simple moving images and audio functions, but there is a demand for further enhancing the convenience and convenience required for electronic books.
ところで、テキスト及び挿絵等のイメージ画像を画像表示することができる電子書籍装置において、従来は画面表示された挿絵等に関連した動画を表示する際に、テキスト等を排除し、動画のみを画面上に表示させたり、また、例えば図１３に示すように、テキストの表示の上に動画再生ウインドウを重ねて表示させたりして、画面上のレイアウトを崩した後に再生を行っていた。しかしながら、テキストが主体の書籍コンテンツにおいては、その都度画面レイアウトを崩すことでかえって読みにくく理解しにくい表示となってしまうことになる。すなわち、テキストの文章及び挿絵が表示された画面と動画表示等の画面とのレイアウトが異なることに起因して、電子書籍における情報の主体であるテキスト情報の習得に影響を与えることになる。また、動画再生時にテキストの文章の一部又は全部を読むことができなくなってしまい、文章を読みながら動画を見ることができない等、書籍内容の理解を深めることの妨げとなってしまうおそれがあり、従来の電子書籍においては、電子書籍に求められる簡便性や利便性を充実することが達成できるものではなかった。 By the way, in an electronic book apparatus capable of displaying image images such as text and illustrations, conventionally, when displaying a moving image related to an illustration displayed on the screen, the text is excluded and only the moving image is displayed on the screen. In addition, for example, as shown in FIG. 13, a moving image reproduction window is superimposed on a text display so that the layout on the screen is destroyed, and reproduction is performed. However, in the case of book content mainly composed of text, the screen layout is destroyed each time, so that the display becomes rather difficult to read and understand. That is, the acquisition of text information, which is the main subject of information in an electronic book, is affected by the difference in the layout between the screen on which textual text and illustrations are displayed and the screen for moving image display. In addition, some or all of the text in the text cannot be read during playback of the video, which may hinder deepening the understanding of the book content, such as being unable to view the video while reading the text. In the conventional electronic books, it has not been possible to enhance the convenience and convenience required for electronic books.
電子書籍表示装置に関し、動画データを含んだ書籍データを表示する電子書籍表示装置が開示されている（例えば、特許文献１参照。）。しかしながら、この装置は、自動頁めくり間隔で指定された時間以内に全ての動画データを表示できるようにしたものであり、パラメータにより文字データであれば文字データを、静止画データであれば静止画データを、動画データであれば動画データを表示装置に表示するものであり、画面内の表示レイアウトについて検討されたものではない。したがって、この点について電子書籍を用いて簡便にかつ効率よく学習等を行うことができ、またテキスト内容が主体である書籍等の内容の理解をより深めることができる機能を備えたものとする工夫の余地があった。 Regarding an electronic book display device, an electronic book display device that displays book data including moving image data is disclosed (for example, see Patent Document 1). However, this device is designed to display all moving image data within the time specified by the automatic page turning interval. Character data can be displayed using parameters, and still image data can be displayed using still images. If the data is moving image data, the moving image data is displayed on the display device, and the display layout in the screen has not been studied. Therefore, it is possible to easily and efficiently learn about this point using electronic books, and to have a function that can deepen the understanding of the contents of books etc. whose main contents are text contents. There was room for.
またコンテンツのレイアウトを変化させずに拡大表示を行う情報処理装置に関し、複数のブロック毎のコンテンツにより構成されており、そのブロック毎に拡大の処理が行える装置が開示されている（例えば、特許文献２、３参照。）。しかしながら、静止画から動画を再生し、動画とテキスト内容とが画面上に表示される場合のレイアウトについては記載されていない。また、この情報処理装置においては、コンテンツを表示する複数のブロックの表示位置を制御してコンテンツの表示を制御するものであることから、このような手法によらずに静止画や動画とテキスト内容とのレイアウトを崩すことなく、画像表示を変更することができるようにする工夫の余地があった。
本発明は、上記現状に鑑みてなされたものであり、電子書籍等の表示内容の主体であるテキスト情報に与える影響を少なくし、書籍等の内容の理解や学習等において利便性に優れた機能を有する情報表示装置及び電子書籍装置を提供することを目的とするものである。 The present invention has been made in view of the above-described present situation, reduces the influence on text information that is the main content of display contents such as an electronic book, and has a function that is convenient in understanding and learning the contents of a book. It is an object of the present invention to provide an information display device and an electronic book device having the above.
本発明者らは、画面を備え、上記画面に表示情報を表示させる情報表示装置及び電子書籍装置について種々検討したところ、電子書籍における有用な機能として、イメージ画像部分を動画に表現できる、すなわち、挿絵等の静止画を動画表示できる機能や、イメージ画像部分を見やすくするためにその部分の枠を拡大することができる機能があることに着目した。そして、テキスト及びイメージが混在したコンテンツ内においてイメージを動画表示したりイメージ枠を拡大したりする場合に、テキスト等の情報表示を排除することなく、テキストの全部の表示とイメージ表示とを行うことにより、主体であるテキスト情報に影響を与えることなく、より理解を深めることのできる電子書籍コンテンツを提供できることを見いだした。例えば、参考程度の挿絵等のイメージについては、そのコンテンツに記録されたレイアウト情報により、元となる静止画イメージ画像がレイアウトされている範囲内で動画表示を行うことができるようにすればよい。これにより、電子書籍に求められる簡便性や利便性をより充実することが可能となり、上記課題をみごとに解決することができることに想到し、本発明に到達したものである。 The inventors of the present invention have examined various information display devices and electronic book devices that include a screen and display display information on the screen, and as a useful function in the electronic book, the image image portion can be expressed as a moving image, that is, We focused on the ability to display moving images of still images such as illustrations, and the ability to enlarge the frame of the portion to make the image portion easier to see. When displaying images as moving images or enlarging an image frame in content that contains both text and images, display all of the text and display the image without excluding information such as text. Thus, it was found that it is possible to provide e-book contents that can deepen understanding without affecting the main text information. For example, an image such as an illustration of a reference level may be displayed in a range where the original still image is laid out based on the layout information recorded in the content. As a result, the convenience and convenience required for an electronic book can be further enhanced, and the present invention has been achieved by conceiving that the above problems can be solved brilliantly.
すなわち、本発明は、画面を備え、該画面に表示情報を表示させる情報表示装置であって、上記情報表示装置は、文字及び画像を画面上に表示する処理を行う文字及び画像表示処理手段と、上記画像を変更する指示を入力するための画像変更入力手段と、上記画面上に表示された文字の全てを表示した状態で変更された画像を表示する処理を行う変更画像表示処理手段とを有する情報表示装置である。
本発明はまた、上記情報表示装置により構成される電子書籍装置でもある。
That is, the present invention is an information display device that includes a screen and displays display information on the screen, and the information display device includes a character and image display processing unit that performs processing for displaying characters and an image on the screen. An image change input means for inputting an instruction to change the image; and a changed image display processing means for performing a process of displaying the changed image in a state where all the characters displayed on the screen are displayed. An information display device.
The present invention is also an electronic book device constituted by the information display device.
上記情報表示装置は、画面上にタッチパネルを備えるものであり、上記画像変更入力手段は、タッチパネルを操作して入力する形態であることにより、画像情報の表示を簡便に変更することができる。この場合には、操作者が情報表示装置のタッチパネルに対してペン操作（マウス操作）又は指操作等を行うことによって変更する画像を指定することにより、情報表示装置に備えられた検出装置がその動作を検出し、指定された画像情報の表示を変更することが情報表示装置に認識されることになる。 The information display device includes a touch panel on the screen, and the image change input unit can easily change the display of the image information by operating the touch panel. In this case, when the operator designates an image to be changed by performing a pen operation (mouse operation) or a finger operation on the touch panel of the information display device, the detection device provided in the information display device The information display device recognizes that the operation is detected and the display of the designated image information is changed.
上記画像の変更は、静止画から動画への変更を含むことにより、挿絵等の静止画を動画表示することができ、電子書籍に求められる利便性をより充実することが可能となる。この場合には、上記変更画像表示処理手段は、静止画から動画へ変更されたときに、画面上の文字及び画像の表示レイアウトを変更しないで表示する処理を行うことが好ましい。 The image change includes a change from a still image to a moving image, whereby a still image such as an illustration can be displayed as a moving image, and the convenience required for an electronic book can be further enhanced. In this case, it is preferable that the changed image display processing means performs a process of displaying without changing the display layout of characters and images on the screen when the still image is changed to the moving image.
上記画像の変更はまた、画像表示領域の拡大又は縮小を含むことによっても、電子書籍に要求される利便性をより向上することが可能となる。画像の変更が画像表示領域の拡大である場合には、文字の表示領域を縮小し、画像表示領域の縮小である場合には、文字の表示領域を拡大するものとしたり、また、画像を拡大表示したときに、文字情報（テキスト）と該画像とを重ねて表示する処理を行うものとしたりすることが好適である。なお、文字情報と画像とが重ねて表示されている場合には、該文字情報を強調する処理を行うものとすることが好ましい。強調処理としては、例えば、文字情報部分を縁取りで表示すること等が挙げられる。 The change of the image also includes the enlargement or reduction of the image display area, so that the convenience required for the electronic book can be further improved. When the image change is an enlargement of the image display area, the character display area is reduced, and when the image change is a reduction of the image display area, the character display area is enlarged or the image is enlarged. When displayed, it is preferable to perform a process of displaying the character information (text) and the image in an overlapping manner. In addition, when the character information and the image are displayed in an overlapping manner, it is preferable to perform a process of emphasizing the character information. As the emphasis processing, for example, displaying a character information portion with a border is exemplified.
上記情報表示装置は、ベースページの表示情報を描画した層と、静止画又は動画の画像表示情報を描画した層とを画面合成処理して表示する手段を備えたものであることにより、上述した機能を効率的に実現することが可能となる。
上記情報表示装置の用途としては、電子書籍装置が好適であり、上記情報表示装置により構成される電子書籍装置もまた本発明の一つである。
The information display device described above is provided with means for displaying a layer in which display information of a base page is drawn and a layer in which image display information of a still image or a moving image is drawn by performing screen composition processing. The function can be efficiently realized.
As an application of the information display device, an electronic book device is suitable, and an electronic book device constituted by the information display device is also one aspect of the present invention.
本発明の情報表示装置又は電子書籍装置は、上述した構成からなるので、電子書籍等の表示内容の主体であるテキスト情報に与える影響を少なくし、書籍等の内容の理解や学習等において利便性に優れた機能を有するものである。例えば、通常使用状態では、テキスト及びイメージ画像を表示した画面において、表示されたレイアウトを崩すことなく、イメージ画像部分を動画に表現することにより、主体であるテキスト情報に影響を与えることなく、より理解を深めることのできる電子書籍コンテンツを提供することができる。 Since the information display device or the electronic book device of the present invention has the above-described configuration, the information display device or the electronic book device of the present invention has less influence on the text information that is the main content of the display content of the electronic book, etc. It has an excellent function. For example, in the normal use state, on the screen displaying text and image images, the displayed image image portion is expressed as a moving image without destroying the displayed layout, and without affecting the main text information. It is possible to provide electronic book content that can deepen understanding.
以下に本発明を実施するための最良の形態として電子書籍装置に具現化させた例を掲げ、図面を参照して更に詳細に説明するが、本発明はこれらの実施の形態のみに限定されるものではない。
ここでは、タッチパネルのペン操作による電子書籍装置について、１．ブロック図、２．操作フロー図（操作に対する処理の流れを示す図）、３．状態遷移図、４．フローチャート（処理の手順を示す図）、５．Layer（層）の概念とLayer画面合成処理の実現方法を説明した後、本発明により実現された電子書籍装置の動画等表示機能の表示形態について説明する。
In the following, an example embodied in an electronic book device will be described as the best mode for carrying out the present invention, and will be described in more detail with reference to the drawings. However, the present invention is limited only to these embodiments. It is not a thing.
Here, regarding an electronic book device by pen operation of the touch panel, Block diagram, 2. 2. Operation flow diagram (figure showing the flow of processing for operation) State transition diagram, 4. 4. Flow chart (diagram showing processing procedure) After explaining the concept of Layer and the method of realizing the Layer screen composition process, the display form of the display function such as a moving image of the electronic book device realized by the present invention will be explained.
本実施形態の電子書籍装置は、画面を備え、上記画面上に表示情報を表示させる機能を有するものであり、電子化された情報を液晶表示装置等の画面（ディスプレイ）に表示する機能を有する。好ましい形態としては、電子書籍の分野に好適に適用されるものであることから、例えば、モバイル機器等と称される携帯型の端末装置を用いて構成し、主に書籍内容等における文字や図表、画像等を表示することに専用化された電子書籍装置とすることである。この場合には、電子書籍装置が情報表示装置により構成されることになるが、主に電子書籍として利用されることになり、一般的な広い用途をもつ情報表示装置とは区別されることになる。 The electronic book device according to the present embodiment includes a screen, has a function of displaying display information on the screen, and has a function of displaying digitized information on a screen (display) such as a liquid crystal display device. . As a preferable form, since it is suitably applied to the field of electronic books, for example, it is configured using a portable terminal device called a mobile device or the like. An electronic book device dedicated to displaying images and the like. In this case, the electronic book device is constituted by an information display device. However, the electronic book device is mainly used as an electronic book, and is distinguished from a general information display device having a wide application. Become.
なお、電子書籍装置を構成する情報記憶媒体や画面等の電子的構成要素や機械的構成としては、コンピュータ読み取り可能な情報記憶媒体から電子化された情報を読み込んで画面上に表示させる機能、及び、いわゆる電子書籍としての機能や構成を有するものであることが好ましく、またその他の機能や構成要素を含んでいてもよい。 In addition, as an electronic component or a mechanical configuration such as an information storage medium or a screen constituting the electronic book apparatus, a function of reading digitized information from a computer-readable information storage medium and displaying it on the screen, and It preferably has a function and configuration as a so-called electronic book, and may include other functions and components.
１．ブロック図
電子書籍端末装置のハードウェア構成について、ブロック図を図１に示す。
(1)ＣＰＵ（Central Processing Unit；中央処理装置）
ＣＰＵ(1)は、ＲＯＭ（Read Only Memory）(2)、ＲＡＭ（Random Access Memory）(3)からプログラムを読み込み、実行する装置であり、データを演算し、各部を制御する。なお、本実施の形態では１個のＣＰＵで構成したが、複数のＣＰＵで構成（マルチプロセッサシステム）してもよい。
(2)ＲＯＭ（Read Only Memory；読み出し専用記憶装置）
ＲＯＭ(2)は、本実施の形態ではＦＬＡＳＨメモリで構成されており、ブート（ハードウェア初期化・起動）プログラム、システムプログラム（ＯＳ、デバイスドライバ）等が格納されている。なお、本実施の形態ではアプリケーションプログラムは、ＣＦ（Compact Flash；コンパクトフラッシュ（登録商標））メモリカード(17)に格納されており、ＲＡＭ(3)へ転送後にＣＰＵ(1)により実行される。しかし、そのアプリケーションプログラムをＲＡＭ(2)へ格納して直接ＣＰＵ(1)より読み出せるようにして実行してもよい。そうすると、電源ＯＮ後極めて短時間（数秒以内）で起動でき、使い勝手が飛躍的に向上する。
1. Block diagram FIG. 1 shows a block diagram of the hardware configuration of the electronic book terminal apparatus.
(1) CPU (Central Processing Unit)
The CPU (1) is a device that reads and executes a program from a ROM (Read Only Memory) (2) and a RAM (Random Access Memory) (3), calculates data, and controls each unit. In the present embodiment, a single CPU is used, but a plurality of CPUs (multiprocessor system) may be used.
(2) ROM (Read Only Memory)
The ROM (2) is constituted by a FLASH memory in this embodiment, and stores a boot (hardware initialization / startup) program, a system program (OS, device driver), and the like. In the present embodiment, the application program is stored in a CF (Compact Flash (registered trademark)) memory card (17), and is executed by the CPU (1) after being transferred to the RAM (3). However, the application program may be stored in the RAM (2) and directly executed by the CPU (1). If it does so, it can start in a very short time (within several seconds) after a power supply ON, and usability improves drastically.
(3)ＲＡＭ（Random Access Memory；半導体素子を利用した記憶装置）
ＲＡＭ(3)は、本実施の形態ではＤＤＲ−ＳＤＲＡＭ（Double Data Rate-Synchronous Dynamic RAM）により構成されており、プログラムエリア又はワークエリア（一時記憶領域）として使われる。本実施の形態では電源ＯＦＦすると消えるが、不揮発性ＲＡＭ（Ｍ−ＲＡＭ）等で構成してもよい。
(4)タッチパネル
タッチパネル(4)は、表示装置(13)上に重ねて配置している。ユーザ操作入力をシステムで検出するための一手段である。本実施の形態では抵抗膜方式を使っているが、他の方式（電磁誘導方式等）でもかまわない。
(5)タッチパネルコントローラ
タッチパネルコントローラ(5)は、ユーザーが操作したタッチパネル(4)の情報（ＸＹ座標値、押した強さ等）を符号化し、ＣＰＵ(1)へ伝える機能を有する。なお、本実施の形態ではタッチパネルコントローラ(5)として独立したＩＣを用いたが、これを汎用のＡＤコンバータ（analog to digital converter）やトランジスタ回路で実現し、ＣＰＵ(1)のソフトウェアプログラムによって直接制御する方式で実現してもかまわない。
(3) RAM (Random Access Memory; storage device using semiconductor elements)
In the present embodiment, the RAM (3) is constituted by a DDR-SDRAM (Double Data Rate-Synchronous Dynamic RAM), and is used as a program area or a work area (temporary storage area). In this embodiment, it disappears when the power is turned off, but it may be constituted by a nonvolatile RAM (M-RAM) or the like.
(4) The touch panel touch panel (4) is arranged on the display device (13). This is a means for detecting user operation input by the system. In this embodiment, the resistive film method is used, but other methods (electromagnetic induction method or the like) may be used.
(5) Touch Panel Controller The touch panel controller (5) has a function of encoding information (XY coordinate values, pressed strength, etc.) of the touch panel (4) operated by the user and transmitting it to the CPU (1). In this embodiment, an independent IC is used as the touch panel controller (5). However, this is realized by a general-purpose AD converter (analog to digital converter) or transistor circuit and directly controlled by the software program of the CPU (1). This method may be realized.
(6)キー
キー(6)は、ユーザ操作入力をシステムで検出するための一手段であり、ユーザ操作を入力するためのキースイッチである。
(7)キー入力ポート
キー入力ポート(7)は、キー(6)が押されている結果（各キーのＯｎ／Ｏｆｆ状態）を符号化してＣＰＵ(1)に伝える。
(8)電源キー
システム電源が入っていないときに電源キー(8)を押すと、電源コントローラ(9)がシステム各部に電気を供給し始める。また、システム電源が入っているときに電源キー(8)を押すと、キー入力ポート(7)経由でＣＰＵ(1)へ伝える。その後、ＣＰＵ(1)から電源コントローラ(9)へ「電源ＯＦＦ指示」符号が伝えられ、システムの電源が落ちる。これにより、電源のソフト制御を可能としている。
(9)電源コントローラ
電源コントローラ(9)は、(i)電源キー(8)によるシステム電源ＯＮ機能、(ii)ＣＰＵ(1)からの指示による電源ＯＦＦ機能、(iii)ＡＣアダプタ(11)接続時に、供給された電気をシステム各部の適切な電圧へ変換し、供給する機能、(iv)ＡＣアダプタ(11)未接続時に、充電池に蓄えられた電気をシステム各部の適切な電圧へ変換し、供給する機能、及び、(v)ＡＣアダプタ接続時に充電池(10)を充電する機能を有する。
(6) Key The key (6) is a means for detecting user operation input by the system, and is a key switch for inputting user operation.
(7) Key input port The key input port (7) encodes the result of pressing the key (6) (on / off state of each key) and transmits it to the CPU (1).
(8) Power key Pressing the power key (8) when the system power is not turned on causes the power controller (9) to start supplying electricity to each part of the system. If the power key (8) is pressed while the system power is on, the information is transmitted to the CPU (1) via the key input port (7). Thereafter, a “power OFF instruction” code is transmitted from the CPU (1) to the power controller (9), and the system power is turned off. This enables soft control of the power supply.
(9) Power controller The power controller (9) has (i) system power ON function by power key (8), (ii) power OFF function by instruction from CPU (1), (iii) AC adapter (11) connection Sometimes, the function to convert and supply the supplied electricity to the appropriate voltage of each part of the system, (iv) When the AC adapter (11) is not connected, convert the electricity stored in the rechargeable battery to the appropriate voltage of each part of the system A function of supplying, and (v) a function of charging the rechargeable battery (10) when the AC adapter is connected.
(10)充電池
電源コントローラ(9)において説明したとおりである。
(11)ＡＣアダプタ
ＡＣアダプタ(11)は、外部からの電源を供給する。
(12)表示コントローラ
表示コントローラ(12)は、表示装置で表示する内容のデータを送り続ける。
(13)表示装置
表示装置(13)は、ＣＰＵ(1)の演算結果を出力し、ユーザへ示す機能を有する。なお、本実施の形態では液晶表示装置を用いたが、もちろん他の方式の表示装置を使ってもかまわない。
(14)ＭＭＣ（登録商標）コントローラ
ＭＭＣ（登録商標）コントローラ(14)は、着脱式メモリカードＭＭＣ（Multi Media Card（登録商標）；マルチメディアカード）の読み書きを制御したり、カードの有無を検出する。なお、本実施の形態ではＭＭＣを用いたが、もちろん他の方式のメモリカードを用いてもかまわない。このようなカードとしては、ＳＤメモリカード、ｍｉｎｉＳＤ（登録商標）メモリカード、ｍｉｎｉＭＭＣ（登録商標）、ＳｍａｒｔＭｅｄｉａ（登録商標）、ｘＤ−Ｐｉｃｔｕｒｅカード（登録商標）等が挙げられる。
(10) As described in the rechargeable battery power controller (9).
(11) AC Adapter The AC adapter (11) supplies power from the outside.
(12) Display controller The display controller (12) continues to send data of contents to be displayed on the display device.
(13) Display device The display device (13) has a function of outputting the calculation result of the CPU (1) and presenting it to the user. Although a liquid crystal display device is used in this embodiment mode, it is needless to say that another type of display device may be used.
(14) MMC (registered trademark) controller The MMC (registered trademark) controller (14) controls reading and writing of a removable memory card MMC (Multi Media Card (registered trademark)) and detects the presence or absence of the card. To do. Although the MMC is used in this embodiment, it is needless to say that another type of memory card may be used. Examples of such a card include an SD memory card, a miniSD (registered trademark) memory card, a miniMMC (registered trademark), a SmartMedia (registered trademark), and an xD-Picture card (registered trademark).
(15)メモリカード（Memory Card）
メモリカード（ＭＭＣ）(15)の中には、本端末で表示するプログラムやデータを格納してもよい。また、本実施の形態ではスロットは１個のみ載せたが、スロットを複数持ってもよい。
(16)ＣＦ（登録商標）メモリカードコントローラ
ＣＦ（登録商標）メモリカードコントローラ(16)は、ＣＦ（登録商標）メモリカード(17)の読み書きを制御したり、カードの有無を検出したりする。本実施の形態ではＣＦを用いたが、もちろん他の方式のメモリカードを用いてもかまわない。このようなカードとしては、ＳＤメモリカード、ｍｉｎｉＳＤ（登録商標）メモリカード、ｍｉｎｉＭＭＣ（登録商標）、ＳｍａｒｔＭｅｄｉａ（登録商標）、ｘＤ−Ｐｉｃｔｕｒｅカード（登録商標）等が挙げられる。
(17)ＣＦ（登録商標）メモリカード
ＣＦ（登録商標）メモリカード(17)の中に、本端末で表示するプログラムやデータを格納する。また、本実施の形態ではスロットは１個のみ載せたが、スロットを複数持ってもよい。また他形式のメモリカードにしてもよい。なお、プログラムやデータは、本体のＲＯＭ(2)やＲＡＭ(3)に搭載してもよい。
(15) Memory Card
The memory card (MMC) (15) may store programs and data to be displayed on the terminal. In this embodiment, only one slot is mounted, but a plurality of slots may be provided.
(16) CF (registered trademark) memory card controller The CF (registered trademark) memory card controller (16) controls reading and writing of the CF (registered trademark) memory card (17) and detects the presence or absence of the card. Although CF is used in this embodiment, it is needless to say that other types of memory cards may be used. Examples of such a card include an SD memory card, a miniSD (registered trademark) memory card, a miniMMC (registered trademark), a SmartMedia (registered trademark), and an xD-Picture card (registered trademark).
(17) CF (registered trademark) memory card The CF (registered trademark) memory card (17) stores programs and data to be displayed on the terminal. In this embodiment, only one slot is mounted, but a plurality of slots may be provided. Other types of memory cards may also be used. The program and data may be installed in the ROM (2) or RAM (3) of the main body.
２．操作フロー図（操作に対する処理を示す図）
本実施形態の電子書籍装置は、(1)文字及び画像表示処理手段と、(2)画像変更入力手段と、(3)変更画像表示処理手段として機能させるためのプログラムによって作動することにより、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現されたものである。
このような装置において、操作者からの画像情報の変更指示等が情報記憶媒体等に記憶されることになる。
2. Operation flow diagram (figure showing processing for operation)
The electronic book device of the present embodiment is operated by a program for functioning as (1) character and image display processing means, (2) image change input means, and (3) changed image display processing means, whereby software The information processing by is specifically realized by using hardware resources.
In such an apparatus, an image information change instruction or the like from an operator is stored in an information storage medium or the like.
上記(1)の文字及び画像表示処理手段は、文字及び画像を画面上に表示する処理を行う手段である。文字や画像は、書籍等の内容を構成する文字や絵画、図表等が挙げられる。また、その他にも、これらの書籍の内容とともに操作者によって入力された自由描画、マーカー等の情報が表示されるようにしてもよい。ここにいう画像とは、書籍内容等における挿絵、動画表示が可能な静止画、図表等を含むものであり、例えば、後述するように静止画から動画表示に変更する場合には、上記(1)の文字及び画像表示処理手段により表示される画像は動画表示ができる静止画を含めたものを意味し、また、画像の大きさ（枠）を変更する場合には、動画表示できる静止画の他、それ以外の絵画、図表等を含めたものを意味する。ここで、動画とは、経時的に表示画像が変化するもの全般を意味する。すなわち、人間には連続的に変化するように見えるものに限られず、間欠的に変化するように見えるものも含む。
なお、記憶装置内に格納された情報、オンライン情報等のリンク先を表示する文字を操作者が指定することにより、当該リンク先の画像を表示させ、文字と画像とを画面上に表示させる処理を行ってもよい。
The character and image display processing means (1) is means for performing processing for displaying characters and images on the screen. Examples of characters and images include characters, pictures, charts, and the like that make up the contents of books and the like. In addition, information such as free drawing and markers input by the operator may be displayed together with the contents of these books. The images here include illustrations in book contents, still images that can be displayed as movies, charts, and the like.For example, when changing from still images to movies as described later, the above (1 ) And the image displayed by the image display processing means include a still image that can display a moving image, and when changing the size (frame) of the image, Others, including other paintings, charts, etc. Here, the moving image means all the images whose display image changes with time. That is, it is not limited to those that appear to change continuously to humans, but includes those that appear to change intermittently.
In addition, when the operator designates a character for displaying a link destination such as information stored in the storage device or online information, the image of the link destination is displayed, and the character and the image are displayed on the screen. May be performed.
上記(2)の画像変更入力手段は、上記画像の表示を変更する指示を入力するための手段である。このような画像表示の変更を入力する手段としては、操作者が画面上において変更する画像を直接的に指示できるようにした手段が好適であり、例えば画面上のタッチパネルを操作することにより画像変更指示の操作を行える手段が好ましい。
上記電子書籍装置としては、画面上にタッチパネルを備えるものであり、上記画像変更入力手段は、タッチパネルを操作して入力する形態が挙げられる。この場合、操作者が情報表示装置のタッチパネルに対してペン操作（マウス操作）又は指操作等を行うによって変更する画像を指定することにより、情報表示装置に備えられた検出装置がその動作を検出し、指定された画像情報の表示を変更することが情報表示装置に認識されることになる。
The image change input means (2) is a means for inputting an instruction to change the display of the image. As a means for inputting such a change in image display, a means in which an operator can directly indicate an image to be changed on the screen is preferable. For example, the image can be changed by operating a touch panel on the screen. A means capable of performing an instruction operation is preferable.
As said electronic book apparatus, a touch panel is provided on a screen, The said image change input means has the form which operates and operates a touch panel. In this case, when the operator designates an image to be changed by performing a pen operation (mouse operation) or a finger operation on the touch panel of the information display device, the detection device provided in the information display device detects the operation. Then, the information display device recognizes that the display of the designated image information is to be changed.
上記画像の変更としては、静止画から動画への変更を含む場合、画像表示領域の拡大又は縮小を含む場合や、これらのいずれも含まれる場合（静止画から動画へ変更され、かつ画像表示領域が拡大又は縮小される場合）がある。静止画から動画への変更においては、例えば、簡便な操作性の観点から、操作者がタッチパネルの静止画が表示された領域をペン操作等すると、動画に変更されるようにすることが好ましい。また、画像表示領域の拡大又は縮小の変更においても、操作者がタッチパネルの画像が表示された領域をペン操作等すると、画像表示領域の大きさが変更されるようにすることが好ましい。 The above image changes include a change from a still image to a moving image, a case where an enlargement or reduction of the image display area is included, or a case where any of these is included (change from a still image to a moving image and an image display area Is enlarged or reduced). In changing from a still image to a moving image, for example, from the viewpoint of simple operability, it is preferable to change the image to a moving image when the operator performs a pen operation or the like on an area where the still image on the touch panel is displayed. In addition, when changing the enlargement or reduction of the image display area, it is preferable that the size of the image display area is changed when the operator performs a pen operation on the area where the image on the touch panel is displayed.
上記電子書籍装置としてはまた、ページ送り処理や指定ページ表示処理に、上記(1)の文字及び画像表示処理と上記(2)の画像変更入力処理とを含めることもできる。この場合には、例えば、後ページに動画表示できる静止画が含まれている場合に、操作者が「後ページ」キー(6c)を入力すると、後のページに移動する処理が行われるのと同時に、後ページに含まれる静止画を動画表示に変更する処理がなされることとなり、後のページが表示された際には操作者がタッチパネル等を操作して動画再生を指示しなくても動画が再生されることとなる。 The electronic book device can also include the character and image display process (1) and the image change input process (2) in the page feed process and the designated page display process. In this case, for example, when a still image that can be displayed as a moving image is included on the subsequent page, when the operator inputs the “rear page” key (6c), a process of moving to the subsequent page is performed. At the same time, the process of changing the still image included in the subsequent page to the video display is performed. When the subsequent page is displayed, the video does not have to be operated by the operator operating the touch panel or the like. Will be played.
上記(3)の変更画像表示処理手段は、上記画面上に表示された文字の全てを表示した状態で変更された画像を表示する処理を行う手段である。これにより、例えば、画面上に表示された文字及び画像のうち画像を静止画から動画に変更する場合に、書籍内容等の主体である文字情報（テキスト）に影響を与えることなく、操作者がテキスト情報及びイメージ画像の情報から書籍等の内容の理解をより深めることができる。具体的には、テキスト等の情報表示と動画表示とを同時に行うに際し、テキスト等の情報表示を排除することなくテキストの全部の表示と動画表示とを行うことによってページ内容を読み取りやすく理解しやすい表示とすることができる。画像を拡大変更する場合もテキスト情報に影響を与えることなく、テキスト等の情報表示を排除することなくコンテンツ内容に対してより理解を深めることができる。 The changed image display processing means (3) is a means for performing a process of displaying the changed image in a state where all the characters displayed on the screen are displayed. Thereby, for example, when an image is changed from a still image to a moving image among characters and images displayed on the screen, the operator does not affect the character information (text) that is the main body of the book content or the like. The understanding of the contents of books and the like can be deepened from text information and image information. Specifically, when displaying information such as text and moving image at the same time, it is easy to read and understand the contents of the page by displaying all of the text and displaying the moving image without eliminating the display of information such as text. It can be a display. Even when the image is enlarged and changed, the contents can be deeply understood without affecting the text information and without eliminating the display of information such as text.
上記変更画像表示処理手段においては、静止画から動画への変更や画像の拡大変更の場合、画像変更の前に表示されていたテキストの全部を表示するために、テキストの表示範囲の一部又は全部を動画や拡大変更された画像が表示される領域以外に移動させてもよい。また、テキストの全部を表示するために、文字のサイズ（フォント）や行間変更によるサイズ調整を行ってもよい。なお、テキストが画像の一部に重なっていてもよい。
一方、静止画から動画への変更の場合には、テキスト及びイメージ画像が混在したコンテンツ内において、例えば参考程度の挿絵等のイメージについては、そのコンテンツに記録されたレイアウト情報により、元となる静止画イメージ画像がレイアウトされている範囲内で動画表示を行うことができるようにすることが好ましい。したがって、上記変更画像表示処理手段は、静止画から動画へ変更されたときに、画面上の文字及び画像の表示レイアウトを変更しないで表示する処理を行うことが好ましい。これにより、テキスト及びイメージ画像が混在したコンテンツにおけるイメージ画像の動画表示の際に見やすくて理解しやすいページ表示とすることができる。
また上記画像の変更が画像表示領域の拡大である場合には、文字の表示領域を縮小し、画像表示領域の縮小である場合には、文字の表示領域を拡大することが好ましい。なお、文字の表示領域を拡大する形態としては、画像を小さくして文字を見やすくする形態であってもよい。
In the changed image display processing means, in the case of a change from a still image to a moving image or an enlarged image change, in order to display all of the text displayed before the image change, a part of the display range of the text or The whole may be moved to a region other than the region where the moving image or the enlarged and changed image is displayed. Further, in order to display the entire text, character size (font) or size adjustment by changing the line spacing may be performed. Note that the text may overlap a part of the image.
On the other hand, in the case of a change from a still image to a moving image, for example, for an image such as an illustration of a reference level in a content in which text and image images are mixed, the original still image is based on the layout information recorded in the content. It is preferable that the moving image can be displayed within a range in which the image is laid out. Therefore, it is preferable that the changed image display processing means performs a process of displaying without changing the display layout of characters and images on the screen when the still image is changed to the moving image. Thereby, it is possible to provide a page display that is easy to see and understand when displaying a moving image of an image in a content in which text and an image are mixed.
When the image change is an enlargement of the image display area, it is preferable to reduce the character display area. When the image change is a reduction of the image display area, it is preferable to enlarge the character display area. In addition, as a form which expands the display area of a character, the form which makes an image small and makes a character easy to see may be sufficient.
〔フローチャート（図２）〕
電子書籍端末装置の入力操作・処理フローについて、フロー図を図２に簡潔に示す。
電子書籍装置の電源を入れて操作を開始すると、先ず初期ページコンテンツが画面に表示される。ここでユーザー操作入力待ちとなり、表示モード切り替え入力待ちの状態となる。
ユーザー操作においては、この場合、操作者が電子書籍装置の座標入力装置となるタッチパネルに対してペン操作（マウス操作）又は指操作等を行うことにより、電子書籍装置に備えられた検出装置が入力動作を検出することになる。静止画から動画を再生させる操作としては、例えば、画面上のタッチパネルを操作することにより画像変更指示の操作が行われるようにすることが好ましい。
[Flowchart (Fig. 2)]
FIG. 2 briefly shows a flow chart of the input operation / processing flow of the electronic book terminal device.
When the electronic book apparatus is turned on and the operation is started, initial page contents are first displayed on the screen. Here, the process waits for user operation input and waits for display mode switching input.
In the user operation, in this case, when the operator performs a pen operation (mouse operation) or a finger operation on the touch panel that is the coordinate input device of the electronic book device, the detection device provided in the electronic book device inputs. Motion will be detected. As an operation for reproducing a moving image from a still image, for example, it is preferable that an image change instruction operation is performed by operating a touch panel on the screen.
動画表示処理としては、ユーザーが画面上において静止画イメージ画像がレイアウトされている領域をクリックする等、動画再生を指示する入力操作（(2)画像変更入力）を行うことにより、ページ内に動画を表示する処理（(3)変更画像表示処理）がなされる。なお、動画表示処理フローについては、後述するとおりである。 In the video display process, the user can click the area where the still image image is laid out on the screen and perform an input operation ((2) Image change input) to instruct the video playback. Is displayed ((3) changed image display processing). The moving image display processing flow is as described later.
ページ送り処理としては、ユーザーが〔前ページ〕ボタン又は〔次ページ〕ボタンを選択する等の入力操作を行うことにより、ページ送り処理がなされ、前ページ又は次ページのコンテンツを表示する処理がなされる。また、ページ指定やリンク先指定を行うこともできる。 As the page turning process, the user performs an input operation such as selecting the [Previous page] button or the [Next page] button, and the page turning process is performed to display the contents of the previous page or the next page. The Also, page designation and link destination designation can be performed.
〔フローチャート（図３）〕
図３は、図２に示すフローを、入力フロー・処理フロー・出力フローに分割した模式図である。
（複数の表示情報入力・選択表示フロー）
本実施の形態では、図３に示すように、入力手段として、タッチパネル（座標入力装置）及びキーが設けられているが、これらに限定されず、マウス等によるものであってもよい。
タッチパネル(4)には描画エリアとモード選択エリアとが設けられており、電子書籍装置の操作者であるユーザからタッチパネル(4)の描画エリア内にマーカー線の描画や動画モードの指示、その他の描画処理をするための座標データがタッチパネル(4)から入力される。このとき如何なる表示を行うかはどのペン動作モードが選択されているかによって異なる。なお、この際、タッチパネル(4)による入力は、電子書籍の場合にはペン入力が好ましいが、指入力又はマウス操作でもよい。以下ではペン入力の場合を例に説明する。
ペン動作モードは、タッチパネル(4)のモード選択エリア内で入力操作を行うことによって選択（判断とその結果による分岐）を行えるように設定されている。ペン動作モードとしては、[a] 動画、[b] 自由描画、[c]消しゴム、[d]ページ操作（スクロール、拡大縮小等）が設定されており、[a] 動画、[b] 自由描画モードの場合にはユーザー描画Layer（層）への書き込みの処理、[c]消しゴムモードの場合にはユーザー描画Layer（層）への消去の処理が行われる。なお、Layer（層）構造については後述する。
[Flowchart (Fig. 3)]
FIG. 3 is a schematic diagram in which the flow shown in FIG. 2 is divided into an input flow, a processing flow, and an output flow.
(Multiple display information input / selection display flow)
In the present embodiment, as shown in FIG. 3, a touch panel (coordinate input device) and a key are provided as input means. However, the present invention is not limited to this, and a mouse or the like may be used.
The touch panel (4) is provided with a drawing area and a mode selection area. The user who is the operator of the electronic book device draws a marker line, indicates a video mode in the drawing area of the touch panel (4), and other items. Coordinate data for drawing processing is input from the touch panel (4). At this time, what kind of display is performed differs depending on which pen operation mode is selected. In this case, the input by the touch panel (4) is preferably a pen input in the case of an electronic book, but may be a finger input or a mouse operation. Hereinafter, a case of pen input will be described as an example.
The pen operation mode is set so that selection (determination and branching based on the result) can be performed by performing an input operation in the mode selection area of the touch panel (4). The pen operation mode is set to [a] video, [b] free drawing, [c] eraser, [d] page operation (scrolling, scaling, etc.), [a] video, [b] free drawing In the mode, writing to the user drawing layer (layer) is performed. In the [c] eraser mode, the erasing processing to the user drawing layer (layer) is performed. The layer structure will be described later.
（ページ送り・指定ページ表示フロー）
ユーザーからページ送り・指定ページが「戻る」キー(6a)、「前ページ」キー(6b)、「後ページ」キー(6c)等により入力される。これらのキーコードにより、一階層上のページ、トップページ(目次ページ)等に戻る処理や、前後のページに移動する処理が行われる。このときキー操作の対象となるのはベースページLayer（層）であり、キー操作に応じたベースページLayerが表示されることとなる。
(Page feed / specified page display flow)
The page feed / designated page is input from the user by a “return” key (6a), a “previous page” key (6b), a “back page” key (6c), or the like. With these key codes, processing for returning to the page one level above, the top page (table of contents page), etc., and processing for moving to the previous or next page are performed. At this time, the target of the key operation is the base page layer (layer), and the base page layer corresponding to the key operation is displayed.
（出力フロー）
表示装置(13)に出力するときは、マーカー線等の描画や動画のフローの処理によるユーザ描画Layerと、ページ送り・指定ページ表示フローの処理によるベースページLayerと、動画再生による動画描画Layerとを画面合成することにより重ね合わせが行われ、後述するような画面が表示されることになる。
ユーザ描画LayerとベースページLayerと動画描画Layerとは関連付けがなされており、表示ページの切り替えに連動して、関連付けられたユーザ描画Layerも切り替えることになり、これにより、ユーザ描画Layer及びベースページLayerの両Layerに対応するページを合成して表示されることになる。また、動画再生が選択されると表示ページに応じた動画が、動画描画LayerとベースページLayer、ユーザ描画Layerと合成され表示されることとなる。なお、一つのベースページLayerに関連付けられているユーザ描画Layerは単数に限られず、複数であってもよい。
(Output flow)
When outputting to the display device (13), a user drawing layer by drawing of marker lines or the like and a processing of the flow of moving images, a base page layer by processing of page feed / designated page display flow, and a moving image drawing layer by playing of moving images By superimposing the images, the images are superimposed, and a screen as described later is displayed.
The user drawing layer, the base page layer, and the video drawing layer are associated with each other, and the associated user drawing layer is also switched in conjunction with the switching of the display page, whereby the user drawing layer and the base page layer are switched. The pages corresponding to both layers are combined and displayed. When moving image reproduction is selected, a moving image corresponding to the display page is combined with the moving image drawing layer, the base page layer, and the user drawing layer and displayed. Note that the number of user drawing layers associated with one base page layer is not limited to one, and may be plural.
３．状態遷移図
電子書籍端末装置の状態遷移図を図４に示す。
図４において、Pen Downは、ペンをタッチパネルに接触させたことを意味し、これにより接触位置のＸＹ座標と押し圧の値が得られる。Pen Upは、ペンをタッチパネルから離したことを意味し、Pen Up直前の接触位置のＸＹ座標が得られることになる。
状態遷移図（図４）において、電子書籍装置の電源を入れ、スタートして初期化した後、アイドル状態（入力待ち）となる。その状態から、イベント（Event：ユーザ操作、システム状態の変化、システム（ＯＳ）からアプリケーションプログラムへの処理の要求等をシステムからアプリケーションへ伝える情報の一まとめ）として、モード選択エリア内でペンダウン（Pen Down）を行うことにより、ペン動作モードを選択し、それによってペン動作モードを記憶し、更にペンアップ（Pen Up）を行うことによって再びアイドル状態に戻る。また、アイドル状態からEventとして描画エリア内でPen Downを行うと、選択されていたペン動作モードに従って、モードが分岐することになる。各モードの分岐は、それぞれの操作に対応して [a] 動画、[b] 自由描画、[c]消しゴム、[d]ページ操作となる。
3. State transition diagram FIG. 4 shows a state transition diagram of the electronic book terminal device.
In FIG. 4, Pen Down means that the pen is brought into contact with the touch panel, and thereby the XY coordinates of the contact position and the value of the pressing pressure are obtained. Pen Up means that the pen is separated from the touch panel, and the XY coordinates of the contact position immediately before Pen Up are obtained.
In the state transition diagram (FIG. 4), the electronic book apparatus is turned on, started and initialized, and then enters an idle state (waiting for input). From that state, a pen down (Pen) in the mode selection area as an event (Event: a collection of information that tells the system to the application a request for processing from the system (OS) to the application program, changes in the system state, etc.) The pen operation mode is selected by performing (Down), thereby storing the pen operation mode, and returning to the idle state again by performing a pen up (Pen Up). If Pen Down is performed in the drawing area as an event from the idle state, the mode branches according to the selected pen operation mode. The branches in each mode are [a] animation, [b] free drawing, [c] eraser, and [d] page operation corresponding to each operation.
アイドル状態からEventとしてキー入力を行った場合には、キー入力処理をし、また、Eventとして再描画を要求する場合には、画面の再描画を行った後にアイドル状態に戻るようにすることができる。
アイドル状態からEventとしてパワー・オフ・スイッチ（Power Off Switch）操作を行った場合には、システムを終了処理し、電源をオフ（Power Off）にする。アイドル状態以外の各状態からEventとしてPower Off Switch操作を行った場合には、強制的にPen Upしたものとみなし、一度アイドル状態に戻る。それにより、簡単にシステム終了処理を開始することができる。
When key input is performed as an event from the idle state, key input processing is performed, and when redrawing is requested as the event, the screen may be redrawn to return to the idle state. it can.
When a Power Off Switch operation is performed as an Event from the idle state, the system is terminated and the power is turned off (Power Off). When a Power Off Switch operation is performed as an Event from each state other than the idle state, it is regarded as forcibly pen-up and returns to the idle state once. Thereby, the system termination process can be started easily.
４．フローチャート（処理の手順を示す図）
(1)メインフローチャート
メインフローチャートについて図５−ａに示す。
図５−ａに示すように、先ずアイドル状態からメッセージキュー内にイベント（Event）が入るのを待つ状態となる（ステップ２１）。Eventは、図５−ａの吹き出しに示されるように、種類によって様々なパラメータを持ち、それぞれが意味付けられている。
ステップ２１においてEventが入れば次いでそのEventの種類が判断され（ステップ２２）、その結果により分岐することになる。Pen DownがEventとして入ったときには、Ｘ，Ｙ領域を判定し（ステップ２６）、ペン入力がペン動作モード切り替えエリア内の場合は表示モード切り替え（ステップ２７）、描画エリア内の場合は各モードによる操作・処理が行われる（ステップ２８〜３２）。また、Key DownがEventとして入ったときには、キー処理（ステップ２４）、再描画要求の処理（ステップ２５）が行われ、RedrawがEventとして入ったときには、再描画要求の処理（ステップ２３）が行われる。なお、図５−ａにおいて、各フロー下部分の「Ａ」は、「イベントを待つ」処理（ステップ２１）に戻ることを示している。
4). Flow chart (drawing procedure)
(1) Main flowchart The main flowchart is shown in FIG.
As shown in FIG. 5-a, first, from an idle state, it waits for an event to enter the message queue (step 21). As shown in the balloon of FIG. 5A, Event has various parameters depending on the type, and each has a meaning.
If an event is entered in
(2)ソフトウェアの構成
更に、図５−ａに示すフローチャートに従って処理することができるソフトウェアの概略構成を図５−ｂに示す。ここでは、ソフトウェアは、入力手段を制御するデバイスドライバーソフトウェアとしてのタッチパネル、キー、及び、出力手段を制御するスクリーンドライバにより構成され、デバイスドライバ、システム（ＯＳ）、タスクにより全体のソフトウェアが構成されることが示されている。
(2) Software Configuration FIG. 5-b shows a schematic configuration of software that can be processed according to the flowchart shown in FIG. Here, the software is configured by a touch panel, a key as device driver software for controlling the input means, and a screen driver for controlling the output means, and the entire software is configured by the device driver, system (OS), and task. It has been shown.
(3)[a]動画表示のフローチャート
図５−ａにおける[a]動画表示のフローチャートを図６−１に示す。
図６−１（Ａ）は、動画再生モードによる処理・操作を示している。動画が再生されている状態では、操作者が操作する内容により分岐することとなる(ステップ５０)。ステップ５０において、操作者が動画停止を指示すると、動画プロセス（図６−１（Ｂ））へ指示が送られる(ステップ５４)。その後、画面レイアウトを再計算する処理（ステップ５１）が行われ、ステップ５５に進む。ステップ５５において、ユーザ描画LayerとベースページLayerとが画面合成することにより重ね合わせが行われ、当該画面が表示される。また、操作者の操作により、画面レイアウトを再計算する処理（ステップ５１）が行われ、ステップ５２に進む。ステップ５２において、ユーザ描画LayerとベースページLayerとが画面合成することにより重ね合わせが行われ、当該画面が表示される。その後、ステップ５３に進み、動画再生プロセスが開始され、動画プロセス（図６−１（Ｂ））へ指示が送られる（ステップ５３）。
なお、動画再生そのものの実現方法については特に限定されず、既存の又は将来の任意の技術を使用することができる。実現方法に関し、動画方式としては、AVI、Motion JPEG, MPEG1, MPEG2, MPEG4, H.263/H.264, QuickTime(米Apple社 TM)等が挙げられ、ベクタアニメーション方式としては、例えば、Macromedia Flash (米Macromedia社 TM), EVA方式(SHARP), SVG方式 (W3C標準)等が挙げられ、アニメーション（静止画像を一定ないし任意の間隔で表示していく方法）方式としては、例えば、GIFアニメーション等が挙げられる。
(3) [a] Flowchart of Moving Image Display A flowchart of [a] moving image display in FIG.
FIG. 6A shows processing / operation in the moving image playback mode. In the state where the moving image is being reproduced, the operation branches depending on the content operated by the operator (step 50). In step 50, when the operator instructs to stop the moving image, an instruction is sent to the moving image process (FIG. 6-1 (B)) (step 54). Thereafter, a process of recalculating the screen layout (step 51) is performed, and the process proceeds to step 55. In
Note that the method for realizing the moving image reproduction itself is not particularly limited, and any existing or future technology can be used. With regard to the implementation method, examples of moving image formats include AVI, Motion JPEG, MPEG1, MPEG2, MPEG4, H.263 / H.264, QuickTime (Apple TM), and vector animation methods include, for example, Macromedia Flash (US Macromedia TM), EVA method (SHARP), SVG method (W3C standard), etc., and animation (method of displaying still images at constant or arbitrary intervals) methods such as GIF animation Is mentioned.
図６−１（Ｂ）は、動画プロセスによる処理・操作を示している。なお、動画プロセスは、メインプログラムとは平行して動作が行われる。
初期化された状態(ステップ６０)では、操作者からの指示又はタイマーを待つこととなり（ステップ６１）、その内容により分岐することとなる（ステップ６２）。上記図６−１（Ａ）のステップ５３より指示が送られると、動画再生プロセス開始が要求され、現在の状態が判断される（再生状態＝停止）（ステップ６３）。その後、ステップ６４に進み、動画再生Layer及び画面領域が初期化され（ステップ６４）、音声再生も初期化された（ステップ６５）後、タイマーが開始されることとなる（ステップ６６）。なお、図６−１（Ｂ）において、タイマーとは、動画の各フレームを一定間隔で表示するためのものであり、例えば、一秒間に３０フレーム表示するのであれば、１／３０秒(=33.33ms)毎に発生し、１／３０秒ごとに１フレーム分の画像を表示し、かつ音声を再生する処理を行う。このタイマーは、画面の垂直同期周波数（リフレッシュレート）に同期していてもよい（同期しているのが望ましいが、別のタイマーでもよい。）。
またステップ６２において、上記図６−１（Ａ）のステップ５４より指示が送られると、動画停止が要求され、現在の状態が判断される（再生状態＝再生中）（ステップ６７）。その後、タイマーが停止された（ステップ６８）後、音声再生も停止され（ステップ６９）、動画再生Layer及び画面領域の使用終了処理が行われる（ステップ７０）。
更にステップ６２において、タイマーが開始されると、動画ファイルの読み出しが行われ（ステップ７１）、デコード処理がなされる（ステップ７２）。そして、画像と音声の出力処理が行われ（ステップ７３）、ステップ７１で読み出した動画ファイルの終わりまで読んだか否かが判断されることとなる（ステップ７４）。
FIG. 6B shows processing / operation by the moving image process. The moving image process operates in parallel with the main program.
In the initialized state (step 60), an instruction from the operator or a timer is waited (step 61), and the process branches depending on the contents (step 62). When an instruction is sent from step 53 in FIG. 6A, the start of the moving image reproduction process is requested, and the current state is determined (reproduction state = stop) (step 63). Thereafter, the process proceeds to step 64, where the video playback layer and the screen area are initialized (step 64), and the audio playback is also initialized (step 65), and then the timer is started (step 66). In FIG. 6B, the timer is for displaying each frame of the moving image at a constant interval. For example, if 30 frames are displayed per second, 1/30 seconds (= This occurs every 33.33 ms), and an image for one frame is displayed every 1/30 seconds and sound is reproduced. This timer may be synchronized with the vertical synchronization frequency (refresh rate) of the screen (desired to be synchronized, but may be another timer).
In step 62, when an instruction is sent from step 54 in FIG. 6A, a stop of the moving image is requested, and the current state is determined (playing state = playing) (step 67). Thereafter, after the timer is stopped (step 68), the audio reproduction is also stopped (step 69), and the moving image reproduction layer and the screen area use end processing are performed (step 70).
Further, when the timer is started in step 62, the moving image file is read (step 71) and the decoding process is performed (step 72). Then, an image and audio output process is performed (step 73), and it is determined whether or not the end of the moving image file read in step 71 has been read (step 74).
図６−２は、動画再生処理の様子を概念的に示したものである。
図６−２において、（ａ）は、操作者が変更する画像をタッチすることによって画像変更入力が行われる形態の装置を用いた実現例である。この装置において、挿絵部分(32)（再生前は静止画）をタッチすると（左図）、動画再生が開始され、動画が再生されることとなる（右図）。そして、動画が再生されている状態で動画部(32)以外の部分をタッチすると、動画が停止される。
図６−２（ｂ）は、画面上にアイコン等の操作部(33)を設け、操作者が操作部(33)をタッチすることによって画像変更入力が行われる形態の装置を用いた実現例である。この装置において、操作部(33)をタッチすると（左図）、動画再生が開始され、動画が再生されることとなる（右図）。そして、動画が再生されている状態で操作部(33)をタッチすると、動画が停止される。
FIG. 6B conceptually shows a moving image reproduction process.
6A is an implementation example using an apparatus in which an image change input is performed by touching an image to be changed by an operator. In this apparatus, when an illustration portion (32) (still image before reproduction) is touched (left figure), moving picture reproduction is started and a moving picture is reproduced (right figure). Then, when a portion other than the moving image portion (32) is touched while the moving image is being reproduced, the moving image is stopped.
FIG. 6-2 (b) shows an implementation example using a device in which an operation unit (33) such as an icon is provided on the screen, and an image change input is performed by the operator touching the operation unit (33). It is. In this apparatus, when the operation unit (33) is touched (left figure), the moving picture reproduction is started and the moving picture is reproduced (right figure). Then, when the operation unit (33) is touched while the moving image is being reproduced, the moving image is stopped.
(3) [b]自由描画のフローチャート
図７（ａ）は、[ｂ]自由描画のフローチャートである。このフローチャートにおいては、自由描画がスタートしてイベントを待つ状態（ステップ４０）からイベントの種類を判断し（ステップ４１）、その結果により分岐することになる。Pen DownがEventとして入った場合には、Ｘ，Ｙ領域判定し、Event（Ｘ，Ｙ）を始点として記憶し（ステップ４２）、始点をユーザー描画Layerへ描画する（ステップ４３）。Pen MoveがEventとして入った場合には、始点と移動した点のEvent（Ｘ，Ｙ）との座標間を線で描画し（ステップ４４）、移動した点のEvent（Ｘ，Ｙ）から始点までの線をユーザー描画Layerへ描画する（ステップ４５）。Pen Upやその他のEventにおいては、リターンされスタートに戻ることになる。
なお、ユーザー描画Layerにおけるデータの書き込みについて、始点のユーザー描画Layerへの描画（※１）を図７（ｂ）に、また、始点とEvent（Ｘ，Ｙ）との座標間の線描画（※２）を図７（ｃ）に概念図として示した。図７（ｂ），（ｃ）中の描画領域（網掛け部）とは、ユーザー描画Layerへペンとして描画する領域のことである。
[c]消しゴムの処理においては、これら※１、※２と同じアルゴリズムで逆に空データを書き込むことになる。
(3) [b] Flowchart of Free Drawing FIG. 7A is a flowchart of [b] Freedrawing. In this flowchart, the type of the event is determined (step 41) from the state in which free drawing starts and waits for the event (step 40), and the process branches according to the result. If Pen Down is entered as an Event, the X and Y areas are determined, Event (X, Y) is stored as the start point (Step 42), and the start point is drawn on the user drawing layer (Step 43). If Pen Move is entered as an Event, draw a line between the coordinates of the start point and the event (X, Y) of the moved point (step 44), and from the event (X, Y) of the moved point to the start point Is drawn on the user drawing layer (step 45). In Pen Up and other events, it returns and returns to the start.
As for the data writing in the user drawing layer, the drawing (* 1) of the starting point to the user drawing layer is shown in FIG. 7B, and the line drawing between the coordinates of the starting point and Event (X, Y) (* 2) is shown as a conceptual diagram in FIG. The drawing areas (shaded portions) in FIGS. 7B and 7C are areas to be drawn as pens on the user drawing layer.
[c] In the eraser process, empty data is written by the same algorithm as * 1 and * 2.
５．Layer（層）の概念とLayer画面合成処理の実現方法
(1)Layer（層）の概念
上述したような実施の形態においては、書籍等のコンテンツを画面上に表示することになるが、複数の書籍等のコンテンツを表示する場合におけるコンテンツの多層化の手段について以下に説明する。コンテンツの多層化とは、複数のコンテンツの中から操作者が見たいコンテンツの画面を表示するための手法である。複数のコンテンツは、１つのコンテンツが１つの層（Layer）をそれぞれ形成し、選択された層が画面合成処理をされて表示手段に表示されることになる。この場合、ベースページの表示情報を描画する層とベースページに付加する表示情報を描画する層とを画面合成処理して表示する手段を備えたものとなる。なお、ベースページとは、電子書籍においては、書籍等の内容が書き込まれ、操作者であるユーザーによる書き込みがないページである。
このような表示手法を適用した１つの例としては、１つのコンテンツのページを表示している状態から他のページに表示を切り替える際に、同じコンテンツの前後のページ及び他のコンテンツの関連するページの中から操作者が選択して指示する手段と、該選択手段により選択されたページを画面上に表示する処理を行う手段とを備えた情報表示装置又は電子書籍装置が挙げられる。
上述したようにコンテンツが多層化され、複数の層を画像合成処理する手段を備えた情報表示装置及び電子書籍装置もまた本発明の１つである。
5. The concept of layer and how to realize layer screen composition processing
(1) Concept of Layer In the embodiment as described above, contents such as books are displayed on the screen. However, in the case of displaying contents such as a plurality of books, multilayering of contents is performed. The means will be described below. Multi-layering of content is a technique for displaying a screen of content that an operator wants to see from a plurality of content. As for a plurality of contents, one content forms one layer (Layer), and the selected layer is subjected to screen composition processing and displayed on the display means. In this case, there is provided means for displaying the layer for rendering the display information of the base page and the layer for rendering the display information added to the base page by performing screen composition processing. Note that the base page is a page in which the contents of a book or the like are written in an electronic book and is not written by a user who is an operator.
As an example of applying such a display method, when switching the display of one content page to another page, pages before and after the same content and related pages of other content An information display device or an electronic book device provided with a means for an operator to select and instruct from the above, and a means for performing processing for displaying a page selected by the selection means on a screen.
As described above, an information display device and an electronic book device provided with means for multilayering content and performing image composition processing on a plurality of layers are also one aspect of the present invention.
図８においては、ユーザ描画LayerとベースページLayerとが重なって構成される概念図が示されている。ユーザ描画Layerは、ユーザが画面上に書き込んだ描画を表示するLayerであり、ビットマップ方式で実現してもよいし、ベクトル方式で実現してもよい。描画の種類としては、不透明自由描画（１８）、透明自由描画等（２１）、不透明マーカー（１９）、透明マーカー（２０）等が挙げられる。ベースページLayerは、書籍の内容等を表示するLayerである。
これらのLayerを画面合成処理し、その画面合成結果（オフスクリーンバッファ）を転送してモード選択エリアを表示させて画面表示内容が構成されることになる。
FIG. 8 shows a conceptual diagram in which the user drawing layer and the base page layer overlap each other. The user drawing layer is a layer for displaying a drawing written by the user on the screen, and may be realized by a bitmap method or a vector method. Examples of the drawing type include opaque free drawing (18), transparent free drawing and the like (21), opaque marker (19), and transparent marker (20). The base page layer is a layer that displays the contents of the book.
The screen composition processing is performed on these layers, the screen composition result (off-screen buffer) is transferred, and the mode selection area is displayed to compose the screen display content.
(2)Layer画面合成処理の実現例
図９においては、ユーザー描画Layerにおけるカラー情報（カラーコード）表現Ｕ、ベースページLayerにおけるカラー情報（カラーコード）表現Ｐ、画面合成結果（オフスクリーンバッファ）におけるカラー情報（カラーコード）表現Ｏが示されている。
ユーザー描画Layerにおいては、T bitの状態で描画の方法を決定する。この際、１ドット毎（ユーザー指定の色）により、透明／不透明が選択可能である。
ユーザー描画LayerとベースページLayerとを合成した画面合成結果（オフスクリーンバッファ）では、(ア)ユーザー描画Layerで不透明色(T=0)のドットと(イ)ユーザー描画Layerで透明色(T=1)のドットとに分けて示されている。(ア)においては、画面では、ページの上に「ユーザー描画」内容が重なって表示される。この場合、例えて言うとペンキで上塗りした感じとなる。（イ）においては、図１０に示されるように実現法(1)と実現法(2)が挙げられる。実現法(1)では、ユーザー描画(U)とベースページ(P)におけるカラー情報（カラーコード）のred, green, blueがそれぞれAND（論理積）演算されて画面合成結果(O)となることが概念的に示されている。この場合、下記のような効果、長所、短所がある。
効果:擬似的に紙を染料で染めた感じを出すことができる。
長所:処理が実現法(2)より軽い。
短所:ユーザー描画(U)とベースページ(P)との色の組み合わせによっては、色が出ない場合がある（論理積のパターンに変化が出ない。）。
(2) Realization Example of Layer Screen Composition Processing In FIG. 9, in the color information (color code) expression U in the user drawing layer, the color information (color code) expression P in the base page layer, the screen composition result (off-screen buffer) A color information (color code) expression O is shown.
In the user drawing layer, the drawing method is determined in the T bit state. At this time, transparency / opacity can be selected for each dot (color specified by the user).
In the screen composition result (off-screen buffer) that combines the user-drawn layer and the base page layer, (a) an opaque color (T = 0) dot in the user-drawn layer and (b) a transparent color (T = It is shown separately from 1). In (a), on the screen, the “user drawing” content is displayed over the page. In this case, for example, it feels like an overcoat with paint. In (A), as shown in FIG. 10, there are an implementation method (1) and an implementation method (2). In the realization method (1), the color information (color code) red, green, and blue in the user drawing (U) and base page (P) are each ANDed (logical product) to obtain the screen composition result (O). Is shown conceptually. In this case, there are the following effects, advantages and disadvantages.
Effect: A feeling of dyeing paper with a dye can be produced.
Pros: Processing is lighter than method (2).
Disadvantages: Depending on the color combination of the user drawing (U) and the base page (P), the color may not appear (the logical product pattern does not change).
実現法(2)では、ユーザー描画(U)とベースページ(P)におけるカラー情報（カラーコード）のred, green, blueが、図１１に示されるように、それぞれ色成分乗算されて画面合成結果(O)となることが概念的に示されている。この場合、下記のような効果、長所、短所がある。
効果:擬似的に紙を染料で染めた感じを出すことができる。
長所:紙の表現に忠実。
短所:処理が実現法(1)より重い。ただし、ＭＭＸ（米国Ｉｎｔｅｌ社や米国ＡＭＤ社等のｘ８６系ＣＰＵのマルチメディア処理命令）や、それと同等する命令を持つＲＩＳＣ系ＣＰＵを使えば容易に実現できる。
In the realization method (2), red, green, and blue color information (color code) in the user drawing (U) and the base page (P) are respectively multiplied by the color components as shown in FIG. It is conceptually shown to be (O). In this case, there are the following effects, advantages and disadvantages.
Effect: A feeling of dyeing paper with a dye can be produced.
Pros: True to the expression of paper.
Cons: Processing is heavier than method (1). However, it can be easily realized by using MMX (multi-media processing instruction of x86 CPU such as Intel, USA, etc.) and RISC CPU having instructions equivalent to it.
図１１においては、Redの場合のLayer画面合成処理のフローを示している。
先ずユーザ描画(U)とベースページ(P)におけるカラー情報のredの値の範囲から図中に示す色成分乗算することにより、画面合成結果(O) におけるカラー情報のredの値の範囲が求められることになる。Green, Blueの場合もRed同様に演算すればよい。
なお、本発明においては、「Layer合成処理」を伴うことが必須ではないが、これらと組み合わせてもよい。
FIG. 11 shows a flow of layer screen composition processing in the case of Red.
First, the red value range of the color information in the screen composition result (O) is obtained by multiplying the red value range of the color information in the user drawing (U) and the base page (P) by the color component shown in the figure. Will be. In the case of Green and Blue, calculation may be performed similarly to Red.
In the present invention, it is not essential to involve “Layer composition processing”, but it may be combined with these.
コンテンツの多層化の例としては、例えば、情報表示装置又は電子書籍装置を学習・教育に利用する形態がある。この場合、複数のコンテンツとして教科書、副読本、参考書、辞書、問題集等がある場合、特定のコンテンツ（例えば、教科書）のページを表示する機能と、表示されたページに関連する他のコンテンツ（副読本、参考書、辞書、問題集等）のページを表示する機能とを有することにより、例えば、特定のコンテンツのページをめくり、他のコンテンツのページを見たいときに操作者が指示すれば他のコンテンツの関連ページが表示され、そこから他のコンテンツのページをめくることができ、また、特定のコンテンツのページに戻りたいときに操作者が指示すれば特定のコンテンツの関連ページが表示されるという形態を実施することが可能となる。また、コンテンツのページ中の特定部分に関連する他のコンテンツのページを見たいときに操作者が指示すれば他のコンテンツの関連ページが表示され、更に表示されたコンテンツのページ中の特定部分に関連する他のコンテンツのページを見たいときに操作者が指示すれば他のコンテンツの関連ページが表示され、これを複数回行うことができるという形態を実施することが可能となる。 As an example of multi-layered content, for example, there is a form in which an information display device or an electronic book device is used for learning and education. In this case, when there are textbooks, supplementary books, reference books, dictionaries, question collections, etc. as a plurality of contents, a function for displaying a page of a specific content (for example, a textbook) and other contents related to the displayed page ( For example, a page of a specific content, a reference book, a dictionary, a collection of questions, etc.). The related page of the specific content is displayed, from which the page of the other content can be turned, and when the operator instructs to return to the specific content page, the related page of the specific content is displayed. It becomes possible to implement the form. In addition, when an operator instructs to view a page of another content related to a specific portion in the content page, the related page of the other content is displayed, and further, the specific portion in the displayed content page is displayed. When the operator instructs to view other related content pages, the related page of the other content is displayed, and this can be performed a plurality of times.
これらの形態により、携帯用の電子書籍装置において、電源や性能に制約がある中で一般的なパソコン等とは異なる方法でコンテンツの多層化を実現することができる。例えば、教科書のコンテンツを用いた学習・教育において、(1)教育のレベルによりコンテンツを多層化する形態、(2)通信機能（有線、無線）を生かしてe-learningコンテンツ（インターネットにおけるウェブサイトのコンテンツ）を多層化する形態等を実現することができる。
上記(1)では、第１層が表面的な内容、第２層が少し詳しい内容、第３層がより詳しい内容、第４層が参考文献、ＵＲＬ等の外部リンクに関する内容とすることが挙げられる。上記(2)では、第１層を教科書や参考書等の書籍の内容、第２層を教師等により作成された練習問題の内容や参考・発展的内容の追記等、第３層を生徒による回答内容等とすることが挙げられる。これらのコンテンツの多層化により、特に電子書籍としての専用端末においては、効率的にコンテンツの内容を表示させて学習することができ、従来の書籍を用いる場合よりも複数のコンテンツを簡便に見ることができる簡便性や、複数のコンテンツを様々な方法で利用することができる利便性を充実させることが可能となる。
なお、ここに挙げた例は、コンテンツの多層化における例の一部であり、多層化されたコンテンツのうち、選択されたコンテンツを画面表示する機能を有する限りこれらの例に限られるものではい。
With these forms, in a portable electronic book device, it is possible to realize a multi-layered content by a method different from that of a general personal computer or the like in a limited power supply and performance. For example, in learning / education using textbook content, (1) multi-layered content depending on the level of education, (2) e-learning content (website website on the Internet) using communication functions (wired, wireless) It is possible to realize a form in which the content is multi-layered.
In (1) above, the first layer should be superficial content, the second layer should be a little more detailed, the third layer should be more detailed, the fourth layer should be a reference, and content related to external links such as URLs. It is done. In the above (2), the first layer is the contents of books such as textbooks and reference books, the second layer is the contents of practice questions created by teachers, etc., and the additional writing of reference and developmental contents, etc. The third layer is by students It can be cited as the answer content. With the multi-layered content, especially on dedicated terminals as e-books, it is possible to display and learn content efficiently, and to view multiple contents more easily than with conventional books. It is possible to enhance the convenience that can be used and the convenience that a plurality of contents can be used in various ways.
Note that the examples given here are only a part of examples of content multilayering, and are not limited to these examples as long as they have a function of displaying the selected content on the screen among the multilayered content. .
実施の形態１
本実施の形態では、上記構成の電子書籍端末装置を用いた。
図１２−１の読書状態図は、操作者が、電子書籍装置内に格納されている書籍データを読み出すことによって、書籍データが表示装置に表示された状態を示す模式図である。この状態において、操作者が書籍データ中の挿絵部分（３２）について、画面上のタッチパネル等を操作することにより動画の再生を指示すると、ページレイアウトはそのままに、挿絵部分（３２）のみが動画として動くこととなる。
In this embodiment, the electronic book terminal device having the above configuration is used.
The reading state diagram in FIG. 12A is a schematic diagram illustrating a state in which book data is displayed on the display device when the operator reads the book data stored in the electronic book device. In this state, when the operator instructs to reproduce the moving image by operating the touch panel on the screen for the illustration portion (32) in the book data, only the illustration portion (32) is converted into a moving image without changing the page layout. It will move.
本実施の形態においては、（ア）文字の大きさを変更せずに動画を表示したり、（イ）文字の大きさを変更して動画を表示したりすることができる。
図１２−２は、上記文字の大きさを変更しない場合（ア）の表示例を示したものであり、元図面は、操作者が書籍データを読み出すことによって、該データが画面に表示された状態を示す模式図である。この状態で操作者が挿絵部分（３２）について動画の再生を指示したときの表示例としては、例えば、(a)挿絵位置のまま動画が再生する場合（図１２−２(a)）、(b)挿絵を小さくして動画再生テキストの情報量は変えない場合（図１２−２(b)）、(c)挿絵を大きくして動画再生テキストを挿絵に重ねて表示することにより、テキストの情報量を変えない場合（図１２−２(c)）等が挙げられる。ここで、挿絵に重ねてテキストを表示する場合(c)には、読みにくくなることが考えられるが、その場合には、挿絵部分と重なる部分において、画像と重なっているテキストの文字を縁取り又は影付きで表示したり（例えば、図１２−３(c-1)参照。）、また、画像と重なっている文字の背景部を、文字が見やすくするように処理したりすることが好適である。文字が見やすくなるような処理としては、例えば、図１２−３(c-2)のように、文字と重なっている部分の画像の一部のコントラストを落としたり、明度や彩度を上げ下げしたりすること等が考えられる。
なお、挿絵部分（動画部）（３２）としては、ページを開いたときに動いてもよいし、また、ページを開いたときには静止画が表示されるが、操作者の指示により動き出すこととしてもよい。
In the present embodiment, (a) a moving image can be displayed without changing the character size, or (b) a moving image can be displayed with the character size changed.
FIG. 12-2 shows a display example when the character size is not changed (A). In the original drawing, when the operator reads the book data, the data is displayed on the screen. It is a schematic diagram which shows a state. In this state, as an example of display when the operator instructs to reproduce the moving image for the illustration portion (32), for example, (a) when the moving image is reproduced at the illustrated position (FIG. 12-2 (a)), ( b) When the illustration is reduced and the amount of information of the video playback text is not changed (FIG. 12-2 (b)), (c) The video playback text is superimposed on the illustration to display the text A case where the amount of information is not changed (FIG. 12-2 (c)) is exemplified. Here, when the text is displayed over the illustration (c), it may be difficult to read, but in that case, in the portion that overlaps the illustration portion, the character of the text that overlaps the image is trimmed or It is preferable to display the image with a shadow (for example, see FIG. 12-3 (c-1)), or to process the background portion of the character overlapping the image so that the character is easy to see. . For example, as shown in FIG. 12-3 (c-2), the process of making the characters easy to see reduces the contrast of a part of the image that overlaps the characters, and increases or decreases the brightness or saturation. It may be possible to do so.
The illustration portion (moving image portion) (32) may move when the page is opened, or a still image is displayed when the page is opened, but may be moved according to an instruction from the operator. Good.
図１２−４は、上記文字の大きさを変更する場合（イ）の表示例を示したものであり、元図面は、図１２−２の場合と同様である。この状態で操作者が挿絵部分（３２）について動画の再生を指示したときの表示例としては、例えば、(a)挿絵位置のまま動画が再生する場合（図１２−４(a)）、(b)挿絵を小さくする場合（図１２−４(b)）、(c)挿絵を大きくする場合（図１２−４(c)）等が挙げられる。ここで、挿絵を小さくする場合(b)には、テキストの表示部が増加するため、本文の文字を大きくしており、また、挿絵を大きくする場合(c)には、テキストの表示部が減少するため、本文の文字を小さくするが、テキストは画面上に表示されていた文字の全てを表示するようにしている。
なお、挿絵部分（動画部）（３２）としては、図１２−２の場合と同様に、ページを開いたときに動いてもよいし、また、ページを開いたときには静止画が表示されるが、操作者の指示により動き出すこととしてもよい。
FIG. 12-4 shows a display example when the character size is changed (A), and the original drawing is the same as the case of FIG. 12-2. In this state, as an example of display when the operator instructs to reproduce the moving image for the illustration portion (32), for example, (a) when the moving image is reproduced at the illustrated position (FIG. 12-4 (a)), ( b) When the illustration is reduced (FIG. 12-4 (b)), (c) When the illustration is enlarged (FIG. 12-4 (c)), and the like. Here, when the illustration is reduced (b), the text display area increases, so the text of the body is enlarged, and when the illustration is enlarged (c), the text display area is increased. In order to decrease, the text in the body is made smaller, but the text is displayed as all the characters displayed on the screen.
The illustration portion (moving image portion) (32) may move when the page is opened as in the case of FIG. 12-2, or a still image is displayed when the page is opened. The movement may be started by an instruction from the operator.
上記文字の大きさを変更する場合（イ）に関し、文字の大きさを変更する方法の例について、図１２−５に概念的に示す。
図１２−５において、(I)及び(II)は、文字の大きさを縮小する方法である。(I)は、文字の縦及び横ともに縮小する手段であり、これにより文字全体が小さくなる。(II)は、文字の縦方向のみ縮小する手段であり、行間隔は変化しない。また、(III)及び(IV)は、文字の大きさを拡大する場合である。(III)は、文字の縦方向のみ拡大する手段であり、行間隔は変化しない。(IV)は、文字の縦及び横ともに拡大する手段であり、これにより文字全体が大きくなる。
なお、本例では縦書きについて示したが、当然横書きについても同様に適応できる。
FIG. 12-5 conceptually shows an example of a method for changing the character size in the case of changing the character size (a).
In FIG. 12-5, (I) and (II) are methods for reducing the size of characters. (I) is a means for reducing both the vertical and horizontal sides of a character, thereby reducing the entire character. (II) is a means for reducing only the vertical direction of characters, and the line spacing does not change. Further, (III) and (IV) are cases in which the size of characters is enlarged. (III) is a means for enlarging only the vertical direction of the character, and the line spacing does not change. (IV) is a means for enlarging both the length and width of a character, thereby increasing the entire character.
In this example, vertical writing is shown, but it is naturally applicable to horizontal writing as well.
実施の形態２
本実施形態では、実施の形態１と同様の電子書籍端末装置であって、更にコンテンツの多層化が実現された装置を用いた。具体的には、多層化されたコンテンツのうち、選択された１つ又は２つ以上のコンテンツを画面に表示する機能を有する装置により構成される電子書籍装置を用いた。なお、多層化されたコンテンツとして、第１層を表面的な内容、第２層を少し詳しい内容、第３層をより詳しい内容、第４層を参考文献やＵＲＬ等の外部リンクの内容とし、第１層からは第２層へ、第２層からは第１又は第３層へ、第３層からは第２又は第４層へ、第４層からは第３層へ表示画面を切り替えることが可能となっている。
このような電子書籍装置に任意のコンテンツが表示されている状態において、操作者が画面上のタッチパネル等を操作することにより静止画部分につき動画の再生を指示すると、実施の形態１と同様に、ページレイアウトはそのままに、画像部分のみが動画として動くこととなる。
In the present embodiment, an electronic book terminal device similar to that in the first embodiment, which further realizes a multilayered content, is used. Specifically, an electronic book device constituted by a device having a function of displaying one or two or more selected contents on the screen among the multilayered contents was used. As the multi-layered content, the first layer is superficial content, the second layer is a little more detailed content, the third layer is more detailed content, the fourth layer is the content of external links such as references and URLs, Switch the display screen from the first layer to the second layer, from the second layer to the first or third layer, from the third layer to the second or fourth layer, and from the fourth layer to the third layer. Is possible.
In a state where arbitrary content is displayed on such an electronic book device, when an operator instructs playback of a moving image for a still image portion by operating a touch panel on the screen, as in the first embodiment, The page layout remains the same, and only the image portion moves as a moving image.
１：ＣＰＵ（中央処理装置）
２：ＲＯＭ
３：ＲＡＭ
４：タッチパネル
５：タッチパネルコントローラ
６：キー
７：キー入力ポート
８：電源キー
９：電源コントローラ
１０：充電池
１１：ＡＣアダプタ
１２：表示コントローラ
１３：表示装置
１４：ＭＭＣコントローラ
１５：メモリカード（ＭＭＣ）
１６：ＣＦメモリカードコントローラ
１７：ＣＦメモリカード
１８：不透明自由描画
１９：不透明マーカー
２０：透明マーカー
２１：透明自由描画
２２：モード選択エリア
２３：〔自由描画〕ボタン
２４：〔動画〕ボタン
２５：〔消しゴム〕ボタン
２６：〔色選択〕ボタン
２７：〔太さ選択〕ボタン
２８：画面
２９：装置
３０：キー（ボタン）
３２：挿絵部分（動画部）
３３：操作部
1: CPU (central processing unit)
2: ROM
3: RAM
4: Touch panel 5: Touch panel controller 6: Key 7: Key input port 8: Power key 9: Power controller 10: Rechargeable battery 11: AC adapter 12: Display controller 13: Display device 14: MMC controller 15: Memory card (MMC)
16: CF memory card controller 17: CF memory card 18: Opaque free drawing 19: Opaque marker 20: Transparent marker 21: Transparent free drawing 22: Mode selection area 23: [Free drawing] button 24: [Movie] button 25: [ Eraser button 26: [color selection] button 27: [thickness selection] button 28: screen 29: device 30: key (button)
32: Illustration part (video part)
33: Operation unit
Claims (10)
該情報表示装置は、文字及び画像を画面上に表示する処理を行う文字及び画像表示処理手段と、
該画像を変更する指示を入力するための画像変更入力手段と、
該画面上に表示された文字の全てを表示した状態で変更された画像を表示する処理を行う変更画像表示処理手段とを有することを特徴とする情報表示装置。 An information display device comprising a screen and displaying display information on the screen,
The information display device includes a character and image display processing means for performing processing for displaying a character and an image on a screen;
Image change input means for inputting an instruction to change the image;
An information display apparatus comprising: a changed image display processing unit that performs a process of displaying an image that has been changed in a state where all of the characters displayed on the screen are displayed.
前記画像変更入力手段は、タッチパネルを操作して入力することを特徴とする請求項１又は請求項２に記載の情報表示装置。 The information display device includes a touch panel on a screen,
The information display apparatus according to claim 1, wherein the image change input unit performs input by operating a touch panel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004232679A JP2006053606A (en) | 2004-08-09 | 2004-08-09 | Information display device and electronic book device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004232679A JP2006053606A (en) | 2004-08-09 | 2004-08-09 | Information display device and electronic book device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006053606A true JP2006053606A (en) | 2006-02-23 |
Family
ID=36031069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004232679A Pending JP2006053606A (en) | 2004-08-09 | 2004-08-09 | Information display device and electronic book device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006053606A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008097532A (en) * | 2006-10-16 | 2008-04-24 | Ricoh Co Ltd | Information processor, information processing method, and information processing program |
| JP2011248356A (en) * | 2010-04-28 | 2011-12-08 | Semiconductor Energy Lab Co Ltd | Semiconductor display device and driving method thereof |
| JP2012069014A (en) * | 2010-09-24 | 2012-04-05 | Sharp Corp | Display device, display method, and program and recording medium therefor |
| KR101424078B1 (en) * | 2007-01-08 | 2014-08-04 | 삼성전자주식회사 | Image forming apparatus and image forming method |
| JP2015210689A (en) * | 2014-04-28 | 2015-11-24 | 株式会社スクウェア・エニックス | Electronic book display processing program and electronic book system |
| CN112883954A (en) * | 2021-02-22 | 2021-06-01 | 的卢技术有限公司 | OCR bill recognition method, device, computer equipment and storage medium |
| US11983342B2 (en) | 2010-04-28 | 2024-05-14 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor display device and driving method the same |
-
2004
- 2004-08-09 JP JP2004232679A patent/JP2006053606A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008097532A (en) * | 2006-10-16 | 2008-04-24 | Ricoh Co Ltd | Information processor, information processing method, and information processing program |
| KR101424078B1 (en) * | 2007-01-08 | 2014-08-04 | 삼성전자주식회사 | Image forming apparatus and image forming method |
| JP2011248356A (en) * | 2010-04-28 | 2011-12-08 | Semiconductor Energy Lab Co Ltd | Semiconductor display device and driving method thereof |
| US10013087B2 (en) | 2010-04-28 | 2018-07-03 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor display device and driving method the same |
| US10871841B2 (en) | 2010-04-28 | 2020-12-22 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor display device and driving method the same |
| US11392232B2 (en) | 2010-04-28 | 2022-07-19 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor display device and driving method the same |
| US11983342B2 (en) | 2010-04-28 | 2024-05-14 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor display device and driving method the same |
| JP2012069014A (en) * | 2010-09-24 | 2012-04-05 | Sharp Corp | Display device, display method, and program and recording medium therefor |
| JP2015210689A (en) * | 2014-04-28 | 2015-11-24 | 株式会社スクウェア・エニックス | Electronic book display processing program and electronic book system |
| CN112883954A (en) * | 2021-02-22 | 2021-06-01 | 的卢技术有限公司 | OCR bill recognition method, device, computer equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102147679B (en) | Method and system for multi-screen hold and drag gesture | |
| US9778836B2 (en) | User interface systems and methods for manipulating and viewing digital documents | |
| KR102061881B1 (en) | Multi display apparatus and method for controlling display operation | |
| EP2284679B1 (en) | User interface systems and methods for manipulating and viewing digital documents | |
| CN102770834B (en) | Multi-screen keeps and page turning gesture | |
| CN102141858B (en) | Multi-Screen synchronous slide gesture | |
| CN102782634B (en) | Multi-screen keeps and tapping gesture | |
| RU2440624C2 (en) | System and method of displaying digital visual content in device | |
| CN102147705B (en) | Multi-screen bookmark hold gesture | |
| US8912986B2 (en) | Display control device, display control method, and computer program | |
| US20100011281A1 (en) | Systems and mehtods for annotating pages of a 3d electronic document | |
| US20070089051A1 (en) | Ink Thickness Rendering for Electronic Annotations | |
| US20140258911A1 (en) | System and method for creating and viewing comic book electronic publications | |
| JP2008217782A (en) | Paper-based meeting service management tool and system | |
| JP2006053605A (en) | Information display device and electronic book device | |
| JP3780601B2 (en) | Image processing apparatus and program recording medium thereof | |
| WO2013084522A1 (en) | Display device, display device control method, control program, and recording medium | |
| US20140351679A1 (en) | System and method for creating and/or browsing digital comics | |
| JP2007147871A (en) | Information display device and digital book device | |
| JP2006053606A (en) | Information display device and electronic book device | |
| JP4349994B2 (en) | Information display device and electronic book device | |
| JP2008084137A (en) | Portable electronic equipment | |
| JP2007156263A (en) | Information display device and electronic book device | |
| TWM357676U (en) | Interactive teaching interface device | |
| US20120262478A1 (en) | Information processing device and display device |