JP2010039757A - Image display method, computer program for image display, and recording medium - Google Patents

Image display method, computer program for image display, and recording medium Download PDF

Info

Publication number
JP2010039757A
JP2010039757A JP2008201949A JP2008201949A JP2010039757A JP 2010039757 A JP2010039757 A JP 2010039757A JP 2008201949 A JP2008201949 A JP 2008201949A JP 2008201949 A JP2008201949 A JP 2008201949A JP 2010039757 A JP2010039757 A JP 2010039757A
Authority
JP
Japan
Prior art keywords
image
page
spread
displayed
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008201949A
Other languages
Japanese (ja)
Inventor
Masanori Katsuta
雅則 勝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Priority to JP2008201949A priority Critical patent/JP2010039757A/en
Publication of JP2010039757A publication Critical patent/JP2010039757A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily open a target page by jumping from a spread page to another page in an image display method for displaying a spread image. <P>SOLUTION: A spread page P is displayed by shifting a page behind a currently displayed page at an end 59 and a ground 60 side. When the posting of the spread image P is carried out by an input device 7, a page including the position is extracted. When the posting of the end 59 or the ground 60 is carried out, the hidden page is extracted. When a plurality of pages are extracted, a page which is the closest to the spread page is decided as a designated page, and a spread preview image 66 including the page is displayed. When the pointing position is clicked, the spread image corresponding to the preview image is displayed, and jump to the target page is achieved at a stretch. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像表示方法、画像表示用コンピュータプログラムおよび記録媒体に関し、特に、絵本や写真集、カタログブック等から読みとった画像データを使用して、絵本、写真集、カタログブックの見開き形式で表示する画像表示方法および画像表示用コンピュータプログラムおよび記録媒体に関する。   The present invention relates to an image display method, an image display computer program, and a recording medium, and in particular, displays image books, photo books, catalog books in a spread format using image data read from picture books, photo books, catalog books, etc. The present invention relates to an image display method, a computer program for image display, and a recording medium.

見開きの2ページにカタログブックの2つのページ画像を左右に並べて表示させる見開き形式の画像ビューアを含む画像表示システムが特許文献1に記載されている。この画像ビューアは、現在のページ数の表示およびページめくりボタンを上方に設けている。また、画像ビューアはページサーチ機能も備えており、所望のページ番号が入力されることにより、現在のページからページジャンプして指定されたページを表示することができる。   Patent Document 1 discloses an image display system including an image viewer in a spread format in which two page images of a catalog book are displayed side by side on two spread pages. This image viewer is provided with a display of the current number of pages and a page turning button. The image viewer also has a page search function, and when a desired page number is input, a page jumped from the current page can be displayed.

また、特許文献2には、見開き表示領域で表示されている本の小口を指示すると該当するページのページ番号が表示され、その部分をクリックすると、表示されたページ番号へジャンプする方法が提案されている。   Further, Patent Document 2 proposes a method of jumping to the displayed page number when the page number of the corresponding page is displayed when the edge of the book displayed in the spread display area is indicated and the corresponding page number is clicked. ing.

特許文献1、2に記載されている画像表示システムでは、ページサーチする場合、ジャンプ先のページを入力して、そのページにジャンプする。しかし、ジャンプする先のページを開いたときにどのような画像が表示されるかは予め分からない。したがって、目次などでジャンプページまたはジャンプページ前後の画像表示内容を調べて、ジャンプする先のページを決定することになるが、目次は全てのページのタイトルが記載されているとは限らないし、絵本等、目次がない場合は、ページを入力して所望のページを開くことが容易ではない。   In the image display systems described in Patent Documents 1 and 2, when a page search is performed, a jump destination page is input and jumps to the page. However, it is not known in advance what image is displayed when the jump destination page is opened. Therefore, the jump page or the image display contents before and after the jump page is examined in the table of contents, and the jump destination page is determined. However, the table of contents does not always include the titles of all pages, and the picture book When there is no table of contents, it is not easy to input a page and open a desired page.

このようなページ入力方法を採用している従来方法では解決できない問題を解決するために、特許文献3には、見開き表示領域とは別に見開きページのサムネイル画像を表示するリスト表示領域を設けて、このサムネイル画像をクリックすることにより所望の見開きページにジャンプすることが提案されている。
特開2004−110719号公報 特開平2−181864号公報 特開平8−106469号公報
In order to solve the problem that cannot be solved by the conventional method adopting such a page input method, Patent Document 3 provides a list display area for displaying thumbnail images of spread pages separately from the spread display area, It has been proposed to jump to a desired spread page by clicking on this thumbnail image.
JP 2004-110719 A Japanese Patent Laid-Open No. 2-181864 JP-A-8-106469

しかし、このサムネイル画像を用いる方法では、見開きページとサムネイル画像とを別画面に表示するか、両者を一画面内で別位置に分けて表示するかすることになるので、実際に本をめくって所望ページを開くような直観的な操作にならないという問題点がある。   However, in this method using thumbnail images, the spread pages and thumbnail images are displayed on separate screens, or both are displayed separately at different positions in one screen, so the book is actually turned over. There is a problem that the operation is not intuitive such as opening a desired page.

本発明は、上記問題点を解消し、複数ページの画像をそれぞれページめくり指示により切り換えて表示させる際に、所望の画像ページに容易に到達することができる画像表示方法、画像表示用プログラムおよび記録媒体を提供することを目的とする。   The present invention solves the above-described problems, and can display an image display method, an image display program, and a recording medium that can easily reach a desired image page when switching and displaying images of a plurality of pages according to page turning instructions. The purpose is to provide a medium.

上記の課題を解決し、目的を達成するための本発明の方法は、画像記憶手段に予め準備された複数枚の画像を右ページ画像と左ページ画像の組からなる本形式の見開き画像として表示装置に表示する画像表示方法において、前記見開き画像を、最上位ページから最下位ページまでの画像を所定量ずつずらして前後の見開き画像の各ページの縁が見えるように重ねて表示するステップと、現在表示されている見開き画像の下にあるページの縁が表示されている領域に入力装置で位置が指示されたことを検出するステップと、前記入力装置による位置の指示を検出した場合に、指示された位置に対応するページを指定ページとして特定するステップと、指定ページを含む見開き画像を前記画像記憶手段から読み出して、該見開き画像のプレビュー画像を、前記指定ページの前記指示された位置の近傍に重ねて表示するステップと、前記指示された位置に対して、入力装置によるページ切り替え指示がなされたことを検出するステップと、前記ページ切り替え指示に応答して、前記プレビュー画像で代表される見開き画像を現在表示されている画像に代えて表示するステップとからなる点に第1の特徴がある。   In order to solve the above problems and achieve the object, the method of the present invention displays a plurality of images prepared in advance in the image storage means as a double-page spread image composed of a set of a right page image and a left page image. In the image display method to be displayed on the apparatus, the spread image is displayed in such a manner that images from the top page to the bottom page are shifted by a predetermined amount so that the edges of each page of the front and back spread images can be seen, A step of detecting that the position is indicated by the input device in the area where the edge of the page under the currently displayed spread image is displayed, and an instruction when the position indication by the input device is detected. A step of specifying a page corresponding to the designated position as a designated page, a spread image including the designated page is read from the image storage means, and a preview of the spread image is read A step of displaying an image superimposed on the designated page in the vicinity of the designated position, a step of detecting that a page switching instruction has been made by an input device at the designated position, and the page switching. There is a first feature in that, in response to the instruction, the spread image represented by the preview image is displayed instead of the currently displayed image.

また、本発明は、前記指定ページとして特定するステップが、指示された位置を含んでいるページのうち、現在表示されている見開き画像のページに最も近いページを前記指定ページとするステップである点に第2の特徴がある。   Further, in the present invention, the step of specifying as the designated page is a step of setting the page closest to the page of the spread image currently displayed among the pages including the designated position as the designated page. There is a second feature.

また、本発明は、前記プレビュー画像の表示位置が、前記指示された位置と重ならない位置に設定される点に第3の特徴がある。   In addition, the present invention has a third feature in that the display position of the preview image is set to a position that does not overlap the instructed position.

また、本発明は、前記プレビュー画像が半透明画像で表示される点に第4の特徴がある。また、本発明は、前記各ページの縁が見えるように重ねて表示するステップでは、各ページの画像を本の小口側および地側へそれぞれずらして表示する点に第5の特徴がある。   The present invention has a fourth feature in that the preview image is displayed as a translucent image. The fifth feature of the present invention is that, in the step of displaying the pages so that the edges of the pages are visible, the images of the pages are shifted and displayed to the fore edge side and the ground side of the book.

また、本発明は、前記各ページの画像と小口側および地側への位置のずらし量との割合を変化させ、小口および地側の幅を大きくして見開き画像を表示させるステップを含んでいる点に第6の特徴がある。   In addition, the present invention includes a step of changing the ratio between the image of each page and the shift amount of the position to the fore edge and the ground side, and increasing the width of the fore edge and the ground side to display a spread image. The point has a sixth feature.

また、本発明は、前記ページ切り替え指示がなされたときに見開き画像を表示するとともに、見開き画像に予め設定されている演出効果に関する情報を合わせて表示するステップを含んでいる点に第7の特徴がある。   In addition, the present invention has a seventh feature in that it includes a step of displaying a spread image when the page switching instruction is given and displaying information related to a preset effect on the spread image. There is.

また、本発明は、前記第1〜第7の特徴を有する画像表示方法の各ステップをコンピュータによって実行させる画像表示用コンピュータプログラムである。   The present invention is also an image display computer program that causes a computer to execute each step of the image display method having the first to seventh features.

さらに、本発明は、前記画像表示用コンピュータプログラムを格納したコンピュータによる読み取り可能な記録媒体である。   Furthermore, the present invention is a computer-readable recording medium storing the image display computer program.

第1、第2の特徴を有する本発明によれば、背後に隠れているページの縁が見えるように本形式で2ページ見開き画像が表示される。そして、その縁が見えているページに対して入力装置を使用してユーザが位置を指示したとき、つまり入力装置でカーソルを合わせた(以下、「ポインティング」という)とき、その位置が検出され、その指示された位置の近傍(例えば、この指示位置を含むページの縁)に重ねて見開きのプレビュー画像が表示される。したがって、現在表示されている見開き以外の見開きの画像を確認できる。そして、ポインティングされた位置をそのまま入力装置でクリック操作する等、ページ切り替え指示をすることによって、目当ての見開きへジャンプすることができる。   According to the present invention having the first and second features, a two-page spread image is displayed in this format so that the edge of the page hidden behind can be seen. Then, when the user uses the input device to indicate the position on the page where the edge is visible, that is, when the cursor is placed on the input device (hereinafter referred to as “pointing”), the position is detected, A spread preview image is displayed in the vicinity of the designated position (for example, the edge of the page including the designated position). Therefore, a spread image other than the spread currently displayed can be confirmed. Then, it is possible to jump to the target spread by giving a page switching instruction such as clicking the pointed position with the input device as it is.

つまり、入力装置であるマウスを滑らせて、表示された見開き画像の、本の小口や地に相当する領域でカーソルを移動させると、カーソル位置に応じて次々とプレビュー画像が表示されるので、目的のページのプレビュー画像が表示された時にカーソルの移動を止めて、その位置でクリックすれば、目的のページを含む見開き画像が得られる。   In other words, if you slide the mouse that is the input device and move the cursor in the area of the displayed spread image that corresponds to the book edge or the ground, preview images are displayed one after another according to the cursor position, When the preview image of the target page is displayed, the movement of the cursor is stopped and the user clicks at that position, thereby obtaining a spread image including the target page.

第3の特徴を有する特徴によれば、ポインティングした位置を避けるようにして、しかもポインティングした位置から遠くない位置にプレビュー画像を表示することにより、カーソルと重なることによってプレビュー画像が見づらくなってしまうのを防止できるし、ポインティングしている付近の小口や地の部分の画像をプレビュー画像が隠してしまうのも防止できる。   According to the feature having the third feature, the preview image is displayed at a position that is not far from the pointed position so as to avoid the pointed position, so that it becomes difficult to see the preview image by overlapping with the cursor. In addition, it is possible to prevent the preview image from hiding the image of the fore edge or ground near the pointing area.

第4の特徴によれば、プレビュー画像を半透明で表示してプレビュー画像をページの画像内に重ねて表示したときに、下の画像が透けて見えるので、プレビュー画像が目障りになるのを回避することができる。   According to the fourth feature, when the preview image is displayed in a semi-transparent manner and the preview image is superimposed on the image of the page, the lower image can be seen through, so that the preview image is not obstructed. can do.

第5の特徴によれば、縁を表示することによって、隠れているページの内容が大まかに把握できる。絵本やカタログブック等、ページの縁まで色彩が配されている本では、ページの縁に現れている色のパターンが小口見出しの機能を果たし、ページの内容に見当をつけることができるので、目的のページを縁の絵に基づいて探し当てることができる。   According to the fifth feature, the contents of the hidden page can be roughly grasped by displaying the edge. In books such as picture books and catalog books, where the color is arranged to the edge of the page, the color pattern appearing on the edge of the page serves as a small headline and can be used to register the contents of the page. Can be found based on the picture of the border.

第6の特徴によれば、小口や地が見える幅を大きくしつつ、ページの画像は小さく表示できるので、入力装置による小口や地の指示を容易にするとともに、ページの画像の縁が大きく表示されるので、隠れているページの内容をより容易に見当付けることができる。   According to the sixth feature, since the image of the page can be displayed small while increasing the width in which the edge and the ground can be seen, the indication of the edge and the ground by the input device is facilitated, and the edge of the page image is displayed in a large size. As a result, the contents of the hidden page can be found more easily.

第7の特徴によれば、見開き画像に予め設定されている音声や画像処理の演出を、ページの画面に含まれているマーク等の情報によって認識することができる。   According to the seventh feature, it is possible to recognize the sound set in advance for the spread image and the effect of the image processing by information such as a mark included in the screen of the page.

以下、図面を参照して本発明を詳細に説明する。図2は、本発明の一実施形態に係る画像表示方法を実現する画像表示制御装置のハードウェア構成を示すブロック図である。このハードウェア構成は汎用のパーソナルコンピュータによって実現できる。すなわち、画像表示制御装置100は、CPU1、ROM2、RAM3、表示装置4、音源装置5、サウンドシステム6、入力装置7、および外部記憶装置8を有している。また、パーソナルコンピュータには、スキャナ装置9およびマイクロフォン10が接続される。マイクロフォン10はA/D変換器11を介してパーソナルコンピュータに接続される。   Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 2 is a block diagram showing a hardware configuration of an image display control apparatus that implements an image display method according to an embodiment of the present invention. This hardware configuration can be realized by a general-purpose personal computer. That is, the image display control device 100 includes a CPU 1, a ROM 2, a RAM 3, a display device 4, a sound source device 5, a sound system 6, an input device 7, and an external storage device 8. Further, a scanner device 9 and a microphone 10 are connected to the personal computer. The microphone 10 is connected to a personal computer via the A / D converter 11.

表示装置4としては、液晶ディスプレイ装置等、パーソナルコンピュータの処理結果を表示するための周知の装置を使用できる。音源装置5は、ソフトウェアや効果音付与のためのDSP等から構成される。入力装置7は、キーボードおよびマウス等のポインティングデバイスである。外部記憶装置8は、例えば、ディスクドライブ装置であり、記憶媒体から画像表示用プログラムを読み込んでROM2にインストールするのに用いられる。なお、画像表示用プログラムは、外部記憶装置8からROM2にインストールするのに限らず、パーソナルコンピュータに設けられる通信装置を使用してインタネット上のサーバ等情報リソースからダウンロードするのであってもよい。RAM3は、CPU1での処理に使用される情報を一次的に記憶する手段である。サウンドシステム6は、図示しないD/A変換器、アンプ、およびスピーカを含む。   As the display device 4, a known device for displaying a processing result of a personal computer such as a liquid crystal display device can be used. The sound source device 5 includes software, a DSP for providing sound effects, and the like. The input device 7 is a pointing device such as a keyboard and a mouse. The external storage device 8 is, for example, a disk drive device, and is used to read an image display program from a storage medium and install it in the ROM 2. The image display program is not limited to being installed in the ROM 2 from the external storage device 8, but may be downloaded from an information resource such as a server on the Internet using a communication device provided in a personal computer. The RAM 3 is means for temporarily storing information used for processing in the CPU 1. The sound system 6 includes a D / A converter, an amplifier, and a speaker (not shown).

画像表示制御装置100は、ROM2に読み込まれる画像表示用プログラムをCPU1で実行することにより、表示装置4に画像を表示する。CPU1の機能および画像表示用プログラムの詳細は、以下に説明する実施例によって明らかにする。   The image display control device 100 displays an image on the display device 4 by causing the CPU 1 to execute an image display program read into the ROM 2. Details of the functions of the CPU 1 and the image display program will be made clear by the embodiments described below.

画像表示制御装置100は、スキャナ装置9で読み込んだ絵本の画像に演出効果を加えて電子絵本を作成し、その電子絵本を表示装置4で表示再生するとともに、サウンドシステム6を使用して本文の朗読音声や効果音を再生する。   The image display control device 100 creates an electronic picture book by adding a rendering effect to the picture of the picture book read by the scanner device 9, displays and reproduces the electronic picture book on the display device 4, and uses the sound system 6 to reproduce the text. Plays reading and sound effects.

図3は、画像表示制御装置100の要部を示すパーソナルコンピュータの機能ブロック図である。図3において、画像読み取り部18は、画像作成モードスイッチ19のオンに応答してスキャナ装置9を駆動し、スキャナ装置9の読み取り位置にセットされている絵本の画像を読み取り、画像記憶部20にページ数と対応付けて記憶される。なお、画像補正部21を設けて、スキャナ装置9で読み取られた画像を表示装置4に表示して、必要に応じて画面の回転、トリミング、色調補正などの補正処理を画像情報に加えた後、画像記憶部20に記憶させることもできる。   FIG. 3 is a functional block diagram of a personal computer showing the main part of the image display control apparatus 100. In FIG. 3, the image reading unit 18 drives the scanner device 9 in response to turning on of the image creation mode switch 19, reads the image of the picture book set at the reading position of the scanner device 9, and stores it in the image storage unit 20. It is stored in association with the number of pages. An image correction unit 21 is provided, and an image read by the scanner device 9 is displayed on the display device 4, and correction processing such as screen rotation, trimming, and tone correction is added to the image information as necessary. Further, it can be stored in the image storage unit 20.

なお、画像記憶部20に記憶される画像情報は、絵本から読み取ったものに限らず、写真集やカタログブック等から読みとったものでもよいし、本形式のものに限らず、複数枚のシート状の絵や写真であってもよい。また、デジタルカメラ等で撮影された電子情報による画像を画像記憶部20に直接取り込んでもよい。さらに、外部記憶装置8から読み込まれる記録媒体に画像表示用プログラムとともに絵本の画像情報を含めておき、この画像情報を取り込むのであってもよい。   Note that the image information stored in the image storage unit 20 is not limited to that read from a picture book, but may be read from a photo book, a catalog book, or the like. It may be a picture or photo. Further, an image based on electronic information captured by a digital camera or the like may be directly taken into the image storage unit 20. Further, the image information of the picture book may be included in the recording medium read from the external storage device 8 together with the image display program, and the image information may be captured.

演出設定画像作成部22は、画像記憶部20に記憶された画像に対して演出効果を加える手段である。演出効果には、音声、サウンド(効果音)、BGM等、音の演出、並びに画像の拡大・縮小、および変形・移動等、画像演出が含まれる。演出画像作成部22は、演出領域設定部221と演出効果設定部222とからなり、演出設定モードスイッチ23のオンに応答して起動される。   The effect setting image creation unit 22 is a means for adding an effect to the image stored in the image storage unit 20. The effect includes sound effects such as voice, sound (sound effect), BGM, and image effects such as enlargement / reduction and deformation / movement of the image. The effect image creating unit 22 includes an effect region setting unit 221 and an effect effect setting unit 222, and is activated in response to the effect setting mode switch 23 being turned on.

演出領域設定部221は、表示装置4に表示される演出設定前の各ページの画像に対して入力装置7を使って演出領域を決定し、その演出領域を表示装置4の表示画面上の座標値として記憶する。すなわち、入力装置9としてのマウスのX・Y方向の移動量がRAM3上のカーソルポイントレジスタのカーソル座標データに加算されることで、この座標データに基づいて表示装置4上でのカーソル位置が決定される。そして、表示装置4に表示された各ページ画像の演出領域として指定された位置の座標データに再生時期データが付加されて、演出設定情報記憶部24に記憶される。再生時期データは、演出領域内の画像を、演出効果を伴って表示(再生)するタイミングを示す情報であり、演出領域の設定時に編集により決定される。   The effect area setting unit 221 determines an effect area using the input device 7 with respect to the image of each page before the effect setting displayed on the display device 4, and the effect area is coordinated on the display screen of the display device 4. Store as a value. That is, the movement amount of the mouse as the input device 9 in the X and Y directions is added to the cursor coordinate data of the cursor point register on the RAM 3, and the cursor position on the display device 4 is determined based on the coordinate data. Is done. Then, the reproduction time data is added to the coordinate data at the position designated as the effect area of each page image displayed on the display device 4 and stored in the effect setting information storage unit 24. The reproduction time data is information indicating the timing of displaying (reproducing) the image in the effect area with the effect, and is determined by editing when setting the effect area.

演出効果設定部222は、演出領域に対応する演出の種類を選択し、演出効果として演出領域と対応付けて演出設定情報記憶部24に記憶するものである。   The effect effect setting unit 222 selects the type of effect corresponding to the effect region, and stores it in the effect setting information storage unit 24 in association with the effect region as the effect.

演出設定画像再生部25は、演出画像再生スイッチ26のオンに応答して、第1ページ目から画像記憶部20の画像情報を読み出して表示装置4で表示するとともに、再生時期データに従って、演出設定情報記憶部24から演出設定情報を読み出し、この演出情報によって、表示装置4に表示されている各ページの画像に演出効果を加える。例えば、表示されている演出領域内のキャラクタを移動させたり、サウンドシステム6を使って音声や効果音等を発生させたりする。   In response to turning on of the effect image playback switch 26, the effect setting image playback unit 25 reads out the image information of the image storage unit 20 from the first page and displays it on the display device 4, and also sets the effect setting according to the playback time data. The effect setting information is read from the information storage unit 24, and the effect is added to the image of each page displayed on the display device 4 by the effect information. For example, a character in the displayed effect area is moved, or sound or sound effects are generated using the sound system 6.

図4は、表示装置4の表示例を示す図である。図4において、画面27は、モードスイッチ表示領域28、再生画像表示領域29、再生操作領域30、および再生画像領域29の下方に設けられた時間軸を示す横長の棒グラフ31が表示されている。モードスイッチ表示領域28には、画像作成モードスイッチ19、演出設定モードスイッチ23、演出画像再生スイッチ26、および印刷スイッチ32が設けられる。また、画像作成モードスイッチ19の上方には、現在選択されているモードを表示する現在モード表示領域33が設けられる。現在のモードは演出画像再生モードであり「再生」と表示されている。   FIG. 4 is a diagram illustrating a display example of the display device 4. In FIG. 4, the screen 27 displays a mode switch display area 28, a reproduction image display area 29, a reproduction operation area 30, and a horizontally long bar graph 31 indicating a time axis provided below the reproduction image area 29. In the mode switch display area 28, an image creation mode switch 19, an effect setting mode switch 23, an effect image reproduction switch 26, and a print switch 32 are provided. A current mode display area 33 for displaying the currently selected mode is provided above the image creation mode switch 19. The current mode is an effect image playback mode, and “play” is displayed.

棒グラフ31は、各見開き2ページ分の再生時間をそれぞれ表したものである。棒グラフ31は、各見開きページの再生時間に応じた長さで目盛りを付加しており、現在再生している見開きページの直前までのページは第1の色34(例えば赤)で表示し、現在再生している見開きページを第2の色35(例えば青)で示している。現在の見開きページの再生が進むにつれて第2の色35の長さが短くなって、第1の色34の長さが長くなっていく。これにより、全体に対する現在再生中の見開きページの位置が判断できるとともに、再生中の見開きページ中の現在位置が判断できる。   The bar graph 31 represents the reproduction time for two spread pages. The bar graph 31 adds a scale with a length corresponding to the playback time of each spread page, and the page up to just before the spread page currently being played is displayed in the first color 34 (for example, red). A spread page being reproduced is indicated by a second color 35 (for example, blue). As the current spread page is played back, the length of the second color 35 becomes shorter and the length of the first color 34 becomes longer. As a result, the position of the spread page currently being reproduced with respect to the whole can be determined, and the current position in the spread page being reproduced can be determined.

再生操作領域30には、再生開始ボタン36、停止ボタン37、および再生ページ中の頭出しボタン38と、ページめくりボタン39、40、41とが表示される。ページめくりボタン39は次ページへ表示を進めるスイッチであり、ページめくりボタン41は前ページへ表示を戻すスイッチである。また、ページめくりボタン40は最初のページにジャンプして表示させるスイッチである。ページめくりボタン39、40、41は手動操作スイッチである。表示中のページの画像再生が終了した後、自動的にページめくりを実行する自動めくりボタン42が設けられる。   In the reproduction operation area 30, a reproduction start button 36, a stop button 37, a cue button 38 in the reproduction page, and page turning buttons 39, 40, and 41 are displayed. The page turning button 39 is a switch for advancing display to the next page, and the page turning button 41 is a switch for returning the display to the previous page. The page turning button 40 is a switch for jumping to the first page and displaying it. The page turning buttons 39, 40 and 41 are manual operation switches. An automatic turning button 42 for automatically turning the page after the image reproduction of the displayed page is completed is provided.

図4は、演出画像再生モード実行中の画面であり、再生画像表示領域29には、2ページ見開き形式で絵本が表示されている例が示されている。符号43はすでに読み込まれている絵本の画像ファイルにアクセスするための本棚ボタンであり、画像ファイルから絵本の画像を読み出して編集や再生を行う場合に使用する。符号44はオフスイッチであり、画像表示を終了するときに使用される。   FIG. 4 shows a screen during execution of the effect image playback mode. In the playback image display area 29, an example in which a picture book is displayed in a two-page spread format is shown. Reference numeral 43 denotes a bookshelf button for accessing an image file of a picture book that has already been read, and is used when the picture book image is read from the image file and edited or reproduced. Reference numeral 44 denotes an off switch, which is used when the image display is finished.

図5は、演出設定モードにおける表示装置4の表示例を示す図である。図5において、演出領域は、左ページの説明文Aと、右ページのキャラクタB、C、Dを囲む矩形領域に設定される。例えば、キャラクタBを囲む演出領域45は、位置451にマウスのカーソルをポインティングして、斜め下方向の位置452までマウスをドラッグすることによって設定される。同様にして、キャラクタA、C、Dに対して演出領域46、47、48が設定される。設定した演出領域は視覚で認識できるように矩形線により表示される。   FIG. 5 is a diagram illustrating a display example of the display device 4 in the effect setting mode. In FIG. 5, the effect area is set to a rectangular area surrounding the explanatory text A on the left page and the characters B, C, and D on the right page. For example, the effect area 45 surrounding the character B is set by pointing the mouse cursor to a position 451 and dragging the mouse to a position 452 in a diagonally downward direction. Similarly, effect areas 46, 47, and 48 are set for characters A, C, and D, respectively. The set effect area is displayed by a rectangular line so that it can be visually recognized.

図5には、絵本の画像表示とともに、設定操作ボタンが表示される。設定表示ボタンは、音声演出ボタン49、BGM演出ボタン50、アニメ演出ボタン51、およびサウンド演出ボタン52からなる。例えば、音声演出は、演出領域48に対して朗読音を付与するものである。演出設定モードで表示された音声演出ボタン49をクリックした直後に設定された演出領域は音声演出設定領域である。   In FIG. 5, a setting operation button is displayed together with the image display of the picture book. The setting display buttons include an audio effect button 49, a BGM effect button 50, an animation effect button 51, and a sound effect button 52. For example, the audio effect is to give a reading sound to the effect region 48. The effect area set immediately after clicking the sound effect button 49 displayed in the effect setting mode is the sound effect setting area.

この音声演出設定領域をさらにマウスでクリックすると、図6に示した音声演出設定窓53が開く。音声演出設定窓200には、録音開始ボタン201が設けられており、この録音開始ボタン201がマウスでクリックされると、マイクロフォン10から入力される音声が取り込まれ、朗読時間に対応した長さの音声演出データとして演出設定情報記憶部24に記憶される。音声演出データには、パン(ステレオ効果)、エコー、ピッチシフト、タイムストレッチ等、各種の効果を与える処理を加えることができる。   When the sound effect setting area is further clicked with the mouse, the sound effect setting window 53 shown in FIG. 6 is opened. The sound production setting window 200 is provided with a recording start button 201. When the recording start button 201 is clicked with the mouse, the sound input from the microphone 10 is captured and has a length corresponding to the reading time. It is stored in the effect setting information storage unit 24 as sound effect data. Processing that gives various effects such as pan (stereo effect), echo, pitch shift, and time stretch can be added to the audio effect data.

同様にして、演出領域45、46、47にもサウンド演出(効果音の付加)を設定できるとともに、キャラクタB、C、D等には、画像の回転、拡大縮小、左右上下方向への移動等の演出を加えることができる。画像演出には、音声演出設定窓200と同様に、画像演出用の設定窓が開かれる。   Similarly, sound effects (addition of sound effects) can be set in the effect areas 45, 46, and 47, and for characters B, C, D, etc., image rotation, enlargement / reduction, movement in the horizontal and vertical directions, etc. Can be added. For image effects, a setting window for image effects is opened in the same manner as the sound effect setting window 200.

図5に戻る。図5において設定操作ボタンのそれぞれの右側には各演出効果が再生されるタイミング(再生時期)を表示するタイムライン55が設けられる。再生時期は、音声については録音開始時から録音終了時に対応した時間に対応して再生時期を決定する。演出音声の再生時期が決定されると、その見開きページの再生時間の全体を決定することができる。すなわち、朗読時間の前後に任意の時間を付加して見開きページ全体の再生時間とすることができる。   Returning to FIG. In FIG. 5, a timeline 55 for displaying the timing (reproduction time) at which each effect is reproduced is provided on the right side of each setting operation button. As for the playback time, the playback time is determined in correspondence with the time corresponding to the end of recording from the start of recording. When the reproduction time of the production sound is determined, the entire reproduction time of the spread page can be determined. That is, an arbitrary time can be added before and after the reading time to make the reproduction time of the entire spread page.

BGMやキャラクタに動きを付加するアニメーション、およびキャラクタの動きに合わせて発生させるサウンド(効果音)は、演出音声によって決定した時間内の任意の時間帯に、その再生時期を振り分けることができる。   The animation to add movement to the BGM and the character, and the sound (sound effect) generated in accordance with the movement of the character can be distributed to any time zone within the time determined by the effect sound.

決定した再生時期は、タイムライン55上に各演出効果のボタンに対応させて表示することができる。図5において、再生時期の例はタイムライン55上にハッチングで示した。演出領域45〜48から再生時期を示すハッチングへ延びた矢印で演出領域と再生時期との対応を示している。   The determined reproduction time can be displayed on the timeline 55 in correspondence with the buttons of each effect. In FIG. 5, examples of the reproduction time are indicated by hatching on the timeline 55. The arrow extending from the effect areas 45 to 48 to the hatching indicating the reproduction time indicates the correspondence between the effect area and the reproduction time.

図7は、演出設定情報記憶部24に記憶される演出設定情報の例を示す図である。図7において、演出設定情報記憶部24は、絵本のページ記述領域56と、ページ記述領域56に対応付けられた演出設定情報記憶領域57とからなる。演出設定情報は、演出領域のX・Y座標と、設定効果名と、設定効果の内容と、再生時間と、再生時期とからなる。再生時期は各ページの画像再生が開始された時を基準にしている。図7の演出設定情報記憶部24の構成は一例であり、他の情報を演出設定情報に含めてもよい。   FIG. 7 is a diagram illustrating an example of effect setting information stored in the effect setting information storage unit 24. In FIG. 7, the effect setting information storage unit 24 includes a page description area 56 of a picture book and an effect setting information storage area 57 associated with the page description area 56. The effect setting information includes the X / Y coordinates of the effect area, the setting effect name, the content of the setting effect, the reproduction time, and the reproduction time. The playback time is based on the start of image playback on each page. The configuration of the effect setting information storage unit 24 in FIG. 7 is an example, and other information may be included in the effect setting information.

前記再生画像表示領域29に表示された絵本画像のページは、ページめくりボタン39〜41や自動ページめくりボタン42を操作して1ページずつめくったり、最初のページにジャンプさせたりすることができる。しかし、さらに先のページや前のページにジャンプさせたいという要望がある。そこで、次に説明する方法によってこの要望に応えることができる。   The page of the picture book image displayed in the reproduction image display area 29 can be turned one page at a time by operating the page turning buttons 39 to 41 and the automatic page turning button 42 or jumped to the first page. However, there is a desire to jump to the previous page or the previous page. Therefore, this demand can be met by the method described below.

図1は、演出が設定された絵本画像の表示例を示す再生画像表示領域29の表示例を示す図である。図1において、再生画像表示領域29には、スキャナ装置9で読み込んだ本や冊子(この実施例では絵本)が2ページの見開き形式で表示される。図1に示した見開きでは、左ページに絵が表示され、右ページに絵を説明する文が表示されている。   FIG. 1 is a diagram showing a display example of a reproduction image display area 29 showing a display example of a picture book image in which an effect is set. In FIG. 1, the reproduction image display area 29 displays a book or booklet (picture book in this embodiment) read by the scanner device 9 in a two-page spread format. In the spread shown in FIG. 1, a picture is displayed on the left page, and a sentence explaining the picture is displayed on the right page.

図1の見開きの右ページの画像は、表示されているページより下位のページ数に応じた厚みがもたされて表示される。また、見開きの左ページの画像は、表示されているページより上位のページ数に応じた厚みがもたされて表示される。なお、これは、本が横書きの場合であり、本が縦書きの場合は、見開きの右ページの画像は、表示されているページより上位のページ数に応じた厚みがもたされて表示される。また、見開きの左ページの画像は、表示されているページより下位のページ数に応じた厚みがもたされて表示される。以下の説明は、横書きの本を想定している。   The right page image of the spread in FIG. 1 is displayed with a thickness corresponding to the number of pages lower than the displayed page. Further, the image of the left page of the spread is displayed with a thickness corresponding to the number of pages higher than the displayed page. Note that this is when the book is written horizontally, and when the book is written vertically, the image on the right page of the spread is displayed with a thickness corresponding to the number of pages higher than the displayed page. The Further, the image of the left page of the spread is displayed with a thickness corresponding to the number of pages lower than the displayed page. The following description assumes a horizontally written book.

図1において、文58が記述されているページより下位ページの縁が小口59および地(ち)60に現れるように、各ページを小口59側および地60側にそれぞれ所定量ずらして表示する。これによって、下位の各ページの縁が表示され、縁にまで広がって印刷されている絵の色が認識可能である。一方、見開きの左側では、絵61が描かれているページより上位ページの縁が小口62および地63に現れるように、各ページの画像を小口62側および地63側にそれぞれ所定量ずつずらして表示する。これによって、上位の各ページの縁が表示され、縁にまで広がって印刷されている絵の色が認識可能である。なお、地側にずらした方が実際に本を見るときの視点により近くなるという効果がある。   In FIG. 1, each page is displayed by being shifted by a predetermined amount on the fore edge 59 side and the ground 60 side so that the edge of the lower page appears on the fore edge 59 and the ground 60 side from the page where the sentence 58 is described. As a result, the edge of each lower page is displayed, and the color of the picture printed extending to the edge can be recognized. On the other hand, on the left side of the spread, images of each page are shifted by a predetermined amount toward the fore edge 62 and the background 63 side so that the edge of the upper page appears on the edge 62 and the background 63 from the page on which the picture 61 is drawn. indicate. Thereby, the edge of each upper page is displayed, and the color of the picture that is printed extending to the edge can be recognized. In addition, there exists an effect that the direction shifted to the ground side becomes closer to the viewpoint when the book is actually viewed.

表示されている画像の元になっている絵本は、紙の縁まで一杯に色彩が施されていることが多い。したがって、図1の表示形態によれば、紙の縁にかかって描かれている絵の色彩の一部が小口側や地側に現れる。同じ絵本を何回も繰り返して読むユーザ(幼児)は、ページの縁に少しだけのぞいた色彩から自分が見たい絵が載っているページを認識できる。   In many cases, the picture book that is the basis of the displayed image is fully colored up to the edge of the paper. Therefore, according to the display form of FIG. 1, a part of the color of the picture drawn on the edge of the paper appears on the edge side or the ground side. A user (infant) who repeatedly reads the same picture book many times can recognize a page on which a picture he / she wants to see is displayed from a color slightly removed from the edge of the page.

そこで、本実施形態では、現在表示されている見開き画像で、小口側および地側に表示されているページの縁を、入力装置7であるマウス等を使って指示(ポインティング)することにより、そのページを含む見開き画像を縮小したプレビュー画像を、ポインティングされた小口または地に表示し、さらにプレビュー画像が表示されている状態で、その指示された位置を入力装置7であるマウスでクリック操作をすることにより、プレビュー画像に対応する見開き画像を、再生画像表示領域29に大きく表示する仕組みとした。   Therefore, in the present embodiment, the edge of the page displayed on the fore edge side and the ground side in the currently displayed spread image is indicated (pointed) using a mouse or the like that is the input device 7, thereby A preview image obtained by reducing a spread image including a page is displayed on a pointed forehead or ground, and a click operation is performed with the mouse that is the input device 7 at the indicated position while the preview image is displayed. Thus, the spread image corresponding to the preview image is displayed in a large size in the reproduction image display area 29.

したがって、ユーザは、表示されている見開き画像の小口や地でマウスカーソルを移動させることにより、次々とプレビュー画像を表示させることができる。そして、そのプレビュー画像を見て、望みのページを探し当てたと判断したときに、そのカーソル位置で入力装置7であるマウスのクリック操作をして拡大画像を表示させることができる。   Therefore, the user can display preview images one after another by moving the mouse cursor at the edge or ground of the displayed spread image. When it is determined that the desired page has been found by looking at the preview image, an enlarged image can be displayed by clicking the mouse as the input device 7 at the cursor position.

図8は、見開き右ページの小口および地の拡大図である。各ページはそれぞれ小口側にシフト量mだけずらし、地側にシフト量nだけずらして画像を表示しており、小口59には、画像の縁に描かれている絵の一部64が現れ、地60には見開きページの背後にあるページつまり隠れているページに描かれている絵の一部65が現れている。   FIG. 8 is an enlarged view of the fore edge and the ground on the right side of the spread. Each page is displayed with an image shifted by a shift amount m on the edge side and a shift amount n on the ground side, and a part 64 of the picture drawn on the edge of the image appears on the edge 59, On the ground 60, a part 65 of a picture drawn on a page behind the spread page, that is, a hidden page appears.

図9は、プレビュー画像を含む表示例を示す図である。図8に示した本形式の画像の小口59または地60をポインティングすると、そのポインティングされた縁を有する見開きページの画像を縮小したプレビュー画像66が図9に示すように見開きページの画像Pと合わせて表示される。プレビュー画像66は、小口59および地60のうちポインティングした方に表示される。プレビュー画像66は、ポインティングした位置と重ならないようにポインティングした位置からずらした位置で、小口または地に表示するのがよい。マウスカーソルとプレビュー画像とが重ならないように表示することによって、プレビュー画像がカーソルで邪魔されるのを防止できるし、これからポインティングしようとする小口や地がプレビュー画像によって遮られてポインティングの操作性を損なうことを防止できるからである。図9では、地60にプレビュー画像66が表示されている例を示している。   FIG. 9 is a diagram illustrating a display example including a preview image. When the fore edge 59 or the ground 60 of the image shown in FIG. 8 is pointed, a preview image 66 obtained by reducing the image of the spread page having the pointed edge is aligned with the image P of the spread page as shown in FIG. Displayed. The preview image 66 is displayed on the pointed one of the fore edge 59 and the ground 60. The preview image 66 is preferably displayed on the forehead or ground at a position shifted from the pointed position so as not to overlap the pointed position. By displaying the mouse cursor and the preview image so that they do not overlap, it is possible to prevent the preview image from being obstructed by the cursor, and the forehead and ground to be pointed from now on are blocked by the preview image, thereby reducing the pointing operability. This is because it can be prevented from being damaged. FIG. 9 shows an example in which a preview image 66 is displayed on the ground 60.

図10は、再生画像表示領域29上での各ページの画像データのX・Y座標を示す模式図である。画像P0は現在開かれている見開きの右ページ(この例では画像P0は第1ページの画像とする)、画像P1は画像P0の次の見開きの右ページ(第3ページ)、画像P2は画像P1の次の見開きの右ページ(第5ページ)の画像である。ページが下って行くに従って、前の画像からX座標がm、Y座標がnずつ加わって画像の表示位置が右下がりにずれている。   FIG. 10 is a schematic diagram showing the X and Y coordinates of the image data of each page on the reproduced image display area 29. The image P0 is the currently opened right page (in this example, the image P0 is the first page image), the image P1 is the next right page (third page) of the image P0, and the image P2 is the image It is an image of the right page (fifth page) of the next spread of P1. As the page goes down, the X coordinate is added by m and the Y coordinate is added by n from the previous image, and the display position of the image is shifted to the lower right.

図11は、画像の表示位置を示す座標値の記憶例を示す図である。画像の表示位置を示す情報は、画像番号、ページ番号、および左上および右下のそれぞれのX・Y座標値データを含んでいる。   FIG. 11 is a diagram illustrating an example of storing coordinate values indicating the display position of an image. The information indicating the display position of the image includes the image number, the page number, and the upper left and lower right X / Y coordinate value data.

このように表示位置が設定されている画像の上に入力装置7でカーソルを合わせるポインティング操作をすると、ポインティングされた位置に縁が表示されているページの画像を含む見開き画像のプレビュー画像がページの小口または地に表示される。つまり、マウス(入力装置7)で位置が指示されると、その指示位置を含むページを図11に示した座標値を参照して抽出する。指示位置は指示された画像よりも下位ページの画像の座標位置も含んでいるため、複数のページが抽出される。そこで、第2段階として、抽出されたページ番号を互いに比較し、ページ番号の若いページを最終的に指示されたページであると特定する。すなわち、現在表示されている見開きページに最も近いページが特定される。   When a pointing operation is performed to position the cursor on the image with the display position set in this way with the input device 7, a preview image of the spread image including the image of the page with the edge displayed at the pointed position is displayed on the page. Displayed on the edge or on the ground. That is, when a position is designated with the mouse (input device 7), a page including the designated position is extracted with reference to the coordinate values shown in FIG. Since the designated position includes the coordinate position of the image of the lower page than the designated image, a plurality of pages are extracted. Therefore, as a second stage, the extracted page numbers are compared with each other, and the page with the lower page number is finally identified as the designated page. That is, the page closest to the currently displayed spread page is specified.

なお、各ページの座標は、ページがめくられると更新される。例えば、第1ページを1枚めくって第3ページを開くと、第3ページの座標は、ページをめくる前の第1ページの座標で置き換えられる。   Note that the coordinates of each page are updated when the page is turned. For example, when the third page is opened by turning over the first page, the coordinates of the third page are replaced with the coordinates of the first page before the page is turned.

図12は、ページジャンプ処理の例を示すフローチャートである。図12において、ステップS1では、現在表示されている見開き画像より下層にあるページに対するポインティングの有無が判断される。つまり、マウスカーソルが再生画像表示領域29に表示されている下層ページに合わせられたか否かを判断する。ステップS1が肯定ならば、ステップS2でポインティング位置(X・Y座標)を決定する。ステップS3では、図11に示した画像表示位置座標の記憶データを検索して、ポインティング位置を含むページ番号を抽出する。ステップS4では、複数のページが抽出されたか否かが判断される。複数ページが抽出された場合は、より上位であるページを指定ページとして確定する。   FIG. 12 is a flowchart illustrating an example of page jump processing. In FIG. 12, in step S <b> 1, it is determined whether or not pointing is performed with respect to a page lower than the currently displayed spread image. That is, it is determined whether or not the mouse cursor is set on the lower page displayed in the reproduction image display area 29. If step S1 is positive, a pointing position (X / Y coordinates) is determined in step S2. In step S3, the stored data of the image display position coordinates shown in FIG. 11 is searched, and the page number including the pointing position is extracted. In step S4, it is determined whether a plurality of pages have been extracted. When a plurality of pages are extracted, a higher page is determined as the designated page.

例えば、図10において、点S1がポインティングされた場合は、第3ページとその下位の第5ページが抽出され、このうち、より上位であるページつまり第3ページが指定ページとして確定される。また、点S2がポインティングされた場合は、ステップS4は否定となり、ステップS6に進んで、第5ページが指定ページとして確定する。   For example, in FIG. 10, when the point S1 is pointed, the third page and the lower fifth page are extracted, and the higher page, that is, the third page is determined as the designated page. If the point S2 is pointed, step S4 is negative, the process proceeds to step S6, and the fifth page is determined as the designated page.

ステップS7では、指定ページを含む見開き2ページの画像を画像記憶部20から読み出す。ステップS8では、読み出した見開き2ページの画像を、予め設定された縮小率で縮小してプレビュー画像を作成する。ステップS9では、作成されたプレビュー画像を現在表示されている見開き画像の小口または地に表示する。このとき、プレビュー画像の表示位置は、上述したように、ポインティングした位置からずらすのがよい。小口および地のいずれに表示するかは、ポインティングされた位置による。   In step S <b> 7, the two-page spread image including the designated page is read from the image storage unit 20. In step S8, the read two-page spread image is reduced at a preset reduction ratio to create a preview image. In step S9, the created preview image is displayed on the edge or ground of the spread image currently displayed. At this time, the display position of the preview image is preferably shifted from the pointed position as described above. Whether it is displayed on the edge or on the ground depends on the pointed position.

ステップS10では、ポインティング位置がクリックされたか否かが判断される。ステップS10が肯定ならば、ステップS11に進んで指定ページを含む見開きの画像を画像記憶部20から読み出す。それからステップS12に進んで、読み出した見開き画像を再生画像表示領域29に表示する。   In step S10, it is determined whether or not the pointing position has been clicked. If step S10 is affirmative, the process proceeds to step S11, and a spread image including the designated page is read from the image storage unit 20. Then, the process proceeds to step S12, and the read spread image is displayed in the reproduction image display area 29.

図13は、ページジャンプ処理に必要な機能を示す画像表示制御装置100の要部機能ブロック図である。図13において、ポインティング位置判別部68は、再生画像表示領域29に表示されている見開き画像内の予定領域が入力装置7でポインティングされたときに、その位置座標を指示ページ抽出部69に入力する。指示ページ抽出部69は、ポインティング位置判別部68から入力された位置座標に基づいてページ座標記憶部70を検索して、該位置座標を含む領域を有するページを抽出する。このページ座標記憶部70には、図11に示した情報、および同様の見開き左ページの情報が記憶される。複数のページが抽出された場合は、より上位のページを指定ページとして確定する。なお、ポインティングが左ページに対して行われた場合、つまり、ページ数が偶数の場合は、より下位のページを指定ページとして確定する。いずれにしても、前記複数ページのうち、現在表示されている見開き画像のページに最も近いページが指定ページとして確定される。   FIG. 13 is a main part functional block diagram of the image display control apparatus 100 showing functions necessary for the page jump process. In FIG. 13, the pointing position determination unit 68 inputs the position coordinates to the instruction page extraction unit 69 when the scheduled area in the spread image displayed in the reproduction image display area 29 is pointed by the input device 7. . The instruction page extraction unit 69 searches the page coordinate storage unit 70 based on the position coordinates input from the pointing position determination unit 68, and extracts a page having an area including the position coordinates. The page coordinate storage unit 70 stores the information shown in FIG. 11 and the information of the same spread left page. When a plurality of pages are extracted, a higher page is determined as the designated page. When pointing is performed on the left page, that is, when the number of pages is an even number, the lower page is determined as the designated page. In any case, the page closest to the page of the spread image currently displayed among the plurality of pages is determined as the designated page.

指示ページはプレビュー作成部71に入力される。プレビュー作成部71は、画像記憶部20から指示ページを含む見開きページの画像情報を読み出して予定の縮小率で縮小してプレビュー表示部72(表示装置4)に出力する。   The instruction page is input to the preview creation unit 71. The preview creation unit 71 reads the image information of the spread page including the instruction page from the image storage unit 20, reduces the image information at a planned reduction rate, and outputs it to the preview display unit 72 (display device 4).

クリック操作判定部73は、ポインティングされた位置でマウスクリックがなされたか否かを判定し、クリックされたと判定されたならば、画像記憶部20にページ番号を伴う読み出し指示を入力する。画像記憶部20は入力されたページ番号の画像情報を見開き表示部74(表示装置4)に入力する。入力された画像情報に従って見開き表示部74は入力されたページ番号を含む見開きページの画像を見開き表示部74に表示させる。   The click operation determination unit 73 determines whether or not a mouse click has been performed at the pointed position. If it is determined that the click has been performed, a read instruction with a page number is input to the image storage unit 20. The image storage unit 20 inputs the image information of the input page number to the spread display unit 74 (display device 4). In accordance with the input image information, the spread display unit 74 causes the spread display unit 74 to display an image of the spread page including the input page number.

演出再生部75は、演出画像再生スイッチ26がオンになると、演出設定情報記憶部24から演出設定情報を読み出して、見開き表示部74に表示されているページに設定されている演出効果を再生する。なお、演出効果の再生は、演出画像再生スイッチ26のオンによって行われるのに限らず、ポインティング位置に対するクリック動作に応答して見開きページを再生するのと同時に自動的に演出効果を含めて見開きページを再生させてもよい。   When the effect image playback switch 26 is turned on, the effect reproduction unit 75 reads the effect setting information from the effect setting information storage unit 24 and reproduces the effect set on the page displayed on the spread display unit 74. . Reproduction of the effect is not limited to turning on the effect image reproduction switch 26, and the spread page is automatically included with the effect at the same time when the spread page is reproduced in response to a click operation on the pointing position. May be played.

なお、プレビュー画像を表示する位置は、ポインティングした縁を含む小口または地に設定されればよい。図9においては、現在見開き画像が表示されているページPの直下のページの地の縁がポインティングされて、この縁にプレビュー画像66の上辺を位置させている。プレビュー画像はこのような位置に限らず、少なくともポインティングされた縁を含む上下(地の場合)、あるいは左右(小口の場合)にわたる範囲に表示されていればよい。換言すれば、ポインティングされた縁に重ねてプレビュー画像が表示されていればよい。   Note that the position where the preview image is displayed may be set to a fore edge or ground including a pointed edge. In FIG. 9, the ground edge of the page immediately below the page P on which the spread image is currently displayed is pointed, and the upper side of the preview image 66 is positioned at this edge. The preview image is not limited to such a position, and may be displayed in a range extending up and down (in the case of the ground) or at the left and right (in the case of a forehead) including at least the pointed edge. In other words, it is only necessary that the preview image is displayed so as to overlap the pointed edge.

次に、プレビュー画像の変形例を説明する。プレビュー画像は、見開きページの画像に重ねて表示されるので、見開きページの一部がプレビュー画像で隠されてしまう。このように見開きページの一部がプレビュー画像によって隠されるのを防止するため、プレビュー画像を半透明で表示させるのがよい。   Next, a modified example of the preview image will be described. Since the preview image is displayed so as to overlap the image of the spread page, a part of the spread page is hidden by the preview image. In order to prevent a part of the spread page from being hidden by the preview image in this way, it is preferable to display the preview image in a translucent manner.

図14は、半透明のプレビュー画像の例を示す図である。この図では、小口に左端を位置させて、そこから右側に広がってページの内側に延びている態様でプレビュー画像76が表示されている。この表示態様によれば、見開きページを再生画像表示領域29を一杯に使用して大きく表示しつつプレビュー画像も表示させることができる。このような表示態様の場合、プレビュー画像76を半透明とすることで、プレビュー画像76と重なる見開きページの絵を透かして見せる効果がある。   FIG. 14 is a diagram illustrating an example of a semi-transparent preview image. In this figure, the preview image 76 is displayed in such a manner that the left end is located at the forehead and extends rightward from there and extends to the inside of the page. According to this display mode, it is possible to display the preview image while displaying the spread page in a large size by using the reproduction image display area 29 fully. In the case of such a display mode, by making the preview image 76 translucent, there is an effect that the picture of the spread page overlapping the preview image 76 can be seen through.

ページジャンプを行う機能を有する見開き画像では、上のページと下のページとの小口方向にmずつずれ量が設けられ、地方向にはnずつずれ量が設けられている。このずれ量m、nが小さいと、小口や地にはみ出している縁の色が少ししか見えない。そこで、小口や地のサイズつまりページから横方向および下方向へのはみ出し量を変化させて表示できるようにするのが好ましい。   In a spread image having a function of performing page jump, a deviation amount is provided by m in the edge direction between the upper page and the lower page, and a deviation amount is provided by n in the ground direction. If the deviations m and n are small, the edge color that protrudes from the forehead or the ground is only slightly visible. Therefore, it is preferable that the size can be displayed by changing the size of the edge or the ground, that is, the amount of protrusion from the page in the horizontal direction and the downward direction.

ここでは、ページサイズを縮小して表示することができる手段を備え、ページサイズを縮小させる一方、ずれ量m、nは固定値としておく。これによって、結果的に、ページサイズを縮小したときにずれ量m、nの比を大きくすることができる。そうして、小口や地のサイズをページサイズに対して大きくしたデータを使用して再生画像表示領域29にページの画像を表示する。   Here, there is provided means for reducing the page size for display, and the page size is reduced, while the shift amounts m and n are fixed values. As a result, when the page size is reduced, the ratio of the shift amounts m and n can be increased. Then, the image of the page is displayed in the reproduction image display area 29 using data obtained by increasing the size of the forehead or the ground with respect to the page size.

図15は、小口や地の幅を大きくした場合のページ見開き画像を示す図である。図15から分かるように、各ページの小口77の幅Qと地78の幅Rが大きいので、現在表示されているページよりも下位の右ページや、上位の左ページの縁が大きく表示され、隠れている画面の特徴をより良く判断しやすい。符号79は、地78に重ねて貼り付けられたプレビュー画像を示す。   FIG. 15 is a diagram illustrating a page spread image when the width of the fore edge or the ground is increased. As can be seen from FIG. 15, since the width Q of the fore edge 77 and the width R of the ground 78 of each page are large, the lower right page and the upper left page edge are displayed larger than the currently displayed page, Easy to judge the characteristics of the hidden screen. Reference numeral 79 indicates a preview image pasted on the ground 78.

図16は、絵本の設定窓の例であり、この設定窓からページサイズを設定する。図16において、ページサイズは「表紙の寸法」で表される。この「表示の寸法」の設定項目で「縦」と「横」のサイズとして小さい値を入力すると、変更された画像データでは、小口や地がページサイズに対して大きくなる。したがって、この画像データをもとに再生画像表示領域29の全体を使うように拡大して表示させることで小口や地の幅を大きく表示することができる。   FIG. 16 is an example of a picture book setting window, and the page size is set from this setting window. In FIG. 16, the page size is represented by “cover size”. When small values are input as the “vertical” and “horizontal” sizes in the “display dimensions” setting item, the fore edge and the ground become larger than the page size in the changed image data. Accordingly, by enlarging and displaying the entire reproduced image display area 29 based on this image data, the fore edge and the width of the ground can be displayed large.

図17は、小口や地の幅を大きく表示するための画像データの処理工程を示す模式図である。図17(a)は、ページサイズQ、Rに対する小口および地の幅q、rの比が小さい原画像データの模式図である。図16の窓で表紙サイズとしてQ、Rより小さいQ1、R1を設定した場合、画像データは図17(b)に示すように小口および地の幅はq、rはそのまま維持される。そして、再生画像表示領域29に表示する場合は、画像データ全体を大きくして表示するため、画像データを拡張して、ページサイズはQ、Rに戻し、小口および地の幅はq1、r1に変化させる。   FIG. 17 is a schematic diagram showing image data processing steps for displaying a fore edge or ground width large. FIG. 17A is a schematic diagram of original image data in which the ratio of the edge widths q and r to the page sizes Q and R is small. When Q1 and R1 smaller than Q and R are set as the cover sizes in the window of FIG. 16, the width of the edge and the ground is maintained as q and r as shown in FIG. 17B. When displaying in the reproduced image display area 29, the entire image data is enlarged and displayed. Therefore, the image data is expanded, the page size is returned to Q and R, and the width of the fore edge and ground is set to q1 and r1. Change.

上述の実施形態において、該プレビュー画像中に、演出設定情報に関する表示を行うことができる。図18は、画像中に演出設定情報を表示した例を示す図である。図18において、見開き画像80の右ページのキャラクタ81の演出設定領域82には、演出効果を示す情報(マーク)A、Bが表示され、キャラクタ83の演出設定領域84には、演出効果を示す情報C、Dが表示され、キャラクタ85の演出設定領域86には演出効果を示す情報Eが表示される。また、見開き画像80の左ページの文に設定した演出設定領域87には、演出効果を示す情報E、Fが表示される。情報A〜Fは、サウンド、画像の拡大・縮小、画像の回転、画像の移動、音声、BGM等の演出効果がそれぞれの演出設定領域に設定されていることを示す。   In the above-described embodiment, display related to the effect setting information can be performed in the preview image. FIG. 18 is a diagram showing an example in which effect setting information is displayed in an image. In FIG. 18, information (marks) A and B indicating the effect is displayed in the effect setting area 82 of the character 81 on the right page of the spread image 80, and the effect setting area 84 of the character 83 indicates the effect. Information C and D are displayed, and information E indicating the effect is displayed in the effect setting area 86 of the character 85. In addition, information E and F indicating the effect are displayed in the effect setting area 87 set in the sentence on the left page of the spread image 80. Information A to F indicates that effects such as sound, image enlargement / reduction, image rotation, image movement, sound, and BGM are set in each effect setting area.

図18においては、地にプレビュー画像88が表示されている例を示しており、このプレビュー画像88にも、演出マークが含まれている。   FIG. 18 shows an example in which a preview image 88 is displayed on the ground, and this preview image 88 also includes an effect mark.

なお、絵本のストーリ、つまり時間経過に従って予定の順序で再生されるストーリ演出と、ユーザが画面上をマウス等入力装置でクリックしたときに、そのクリックした位置が予定のシークレット設定位置であった場合に演出効果が再生されるシークレット演出とを区別して設定することができる。そして、前記演出効果を示すマークには、該演出効果がストーリ演出に属するものかシークレット演出に属するものかを表すものを追加してもよい。もちろん、プレビュー画像とともにページ番号を表示してもよい。   In addition, when the story of a picture book, that is, a story effect that is played back in a scheduled order over time, and the user clicks on the screen with an input device such as a mouse, the clicked position is the planned secret setting position. The secret effect where the effect is reproduced can be set separately. The mark indicating the effect may be added to indicate whether the effect belongs to a story effect or a secret effect. Of course, the page number may be displayed together with the preview image.

上述のように、本実施形態によれば、2ページ見開き形式で表示される絵本の所望のページへジャンプさせるため、小口側および地側に、下に隠れているページの一部をはみ出させた。そして、そのはみ出し部をポインティングすることで小口見出しの態様でプレビュー画像を表示させ、その位置でクリックしてページ切り替え指示を行うことで、該プレビュー画像に対応する所望の見開きページにジャンプしてその画像を表示させることができる。   As described above, according to the present embodiment, in order to jump to the desired page of the picture book displayed in the two-page spread format, a part of the page hidden below is protruded on the fore edge side and the ground side. . Then, by pointing to the protruding portion, a preview image is displayed in the form of a forehead heading, and by clicking at that position and instructing page switching, the page jumps to a desired spread page corresponding to the preview image and An image can be displayed.

本実施形態は、絵本に関して説明したが、本の種類は絵本に限らず、写真集やカタログブック等でも同様に表示できる。また、本や冊子に限らず、独立した複数枚の絵や写真をスキャナ装置9で取り込んでサイズを調節して本形式で表示させるものにも適用することができる。   Although the present embodiment has been described with reference to a picture book, the type of book is not limited to a picture book, and can be displayed in a photo book, a catalog book, or the like. Further, the present invention is not limited to a book or booklet, but can be applied to an apparatus in which a plurality of independent pictures or photos are captured by the scanner device 9 and the size is adjusted to be displayed in the book format.

本発明の一実施形態に係る本形式の見開き画像表示例を示す図である。It is a figure which shows the example of a spread image display of this form which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像表示制御装置であるパーソナルコンピュータのハード構成を示すブロック図である。1 is a block diagram illustrating a hardware configuration of a personal computer that is an image display control apparatus according to an embodiment of the present invention. 画像に演出設定するための画像表示制御装置の要部機能を示すブロック図である。It is a block diagram which shows the principal part function of the image display control apparatus for producing effects to an image. 画像表示制御装置の操作部を含む表示画面の一例を示す図である。It is a figure which shows an example of the display screen containing the operation part of an image display control apparatus. 演出設定モードにおける表示装置4の表示例を示す図である。It is a figure which shows the example of a display of the display apparatus 4 in effect setting mode. 音声演出の設定窓の一例を示す図である。It is a figure which shows an example of the setting window of an audio production. 演出設定情報の記憶例を示す図である。It is a figure showing an example of storage of production setting information. 見開き右ページの小口および地の拡大図である。It is an enlarged view of a forehead and ground on the right side of a spread. プレビュー画像を含む表示例を示す図である。It is a figure which shows the example of a display containing a preview image. 再生画像表示領域上での各ページの画像データのX・Y座標を示す模式図である。It is a schematic diagram which shows XY coordinate of the image data of each page on a reproduction | regeneration image display area. 画像の表示位置を示す座標値の記憶例を示す図である。It is a figure which shows the example of a memory | storage of the coordinate value which shows the display position of an image. ページジャンプ処理の例を示すフローチャートである。It is a flowchart which shows the example of a page jump process. ページジャンプ処理に必要な機能を示す画像表示制御装置の要部機能ブロック図である。It is a principal part functional block diagram of the image display control apparatus which shows a function required for a page jump process. 半透明のプレビュー画像の例を示す図である。It is a figure which shows the example of a semi-transparent preview image. 小口や地の幅を大きくした場合のページ見開き画像を示す図である。It is a figure which shows a page spread image when the width of a fore edge and the ground is enlarged. 絵本の設定窓の一例を示す図である。It is a figure which shows an example of the setting window of a picture book. 小口や地の幅を大きく表示するための画像データの処理工程を示す模式図である。It is a schematic diagram which shows the process of the image data for displaying a fore edge and the width of a ground large. 画像中に演出設定情報を表示した例を示す図である。It is a figure which shows the example which displayed production | presentation setting information in the image.

符号の説明Explanation of symbols

1…CPU、 4…表示装置、 7…入力装置、 9…スキャナ装置、 19…画像作成モードスイッチ、 20…画像記憶部、 22…演出設定画像作成部、 23…演出設定モードスイッチ、 24…演出設定情報記憶部、 25…演出設定画像再生部、 27…画面、 29…再生画像表示領域、 59…小口、 60…地、 64、65…絵の一部、 68…ポインティング位置判別部、 69…指示ページ抽出部、 70…ページ座標記憶部、 71…プレビュー作成部、 73…プレビュー指示判定部 DESCRIPTION OF SYMBOLS 1 ... CPU, 4 ... Display apparatus, 7 ... Input device, 9 ... Scanner apparatus, 19 ... Image creation mode switch, 20 ... Image storage part, 22 ... Production setting image creation part, 23 ... Production setting mode switch, 24 ... Production Setting information storage unit, 25 ... Production setting image playback unit, 27 ... Screen, 29 ... Playback image display area, 59 ... Forehead, 60 ... Ground, 64, 65 ... Part of the picture, 68 ... Pointing position determination unit, 69 ... Instruction page extraction unit, 70 ... Page coordinate storage unit, 71 ... Preview creation unit, 73 ... Preview instruction determination unit

Claims (9)

画像記憶手段に予め準備された複数枚の画像を右ページ画像と左ページ画像の組からなる本形式の見開き画像として表示装置に表示する画像表示方法において、
前記見開き画像を、最上位ページから最下位ページまでの画像を所定量ずつずらして前後の見開き画像の各ページの縁が見えるように重ねて表示するステップと、
現在表示されている見開き画像の下にあるページの縁が表示されている領域に入力装置で位置が指示されたことを検出するステップと、
前記入力装置による位置の指示を検出した場合に、指示された位置に対応するページを指定ページとして特定するステップと、
指定ページを含む見開き画像を前記画像記憶手段から読み出して、該見開き画像のプレビュー画像を、前記指定ページの前記指示された位置の近傍に重ねて表示するステップと、
前記指示された位置に対して、入力装置によるページ切り替え指示がなされたことを検出するステップと、
前記ページ切り替え指示に応答して、前記プレビュー画像で代表される見開き画像を現在表示されている画像に代えて表示するステップとからなることを特徴とする画像表示方法。
In an image display method for displaying a plurality of images prepared in advance in an image storage means on a display device as a spread image of this format consisting of a set of a right page image and a left page image,
A step of displaying the spread image in an overlapping manner so that the edges of each page of the spread image before and after can be seen by shifting the images from the top page to the bottom page by a predetermined amount;
Detecting that the position is indicated by the input device in the area where the edge of the page under the currently displayed spread image is displayed;
Identifying a page corresponding to the indicated position as a designated page when detecting an indication of a position by the input device;
Reading a spread image including a designated page from the image storage means and displaying a preview image of the spread image in the vicinity of the designated position of the designated page;
Detecting that a page switching instruction has been made by the input device at the indicated position;
And displaying the spread image represented by the preview image instead of the currently displayed image in response to the page switching instruction.
前記指定ページとして特定するステップが、指示された位置を含んでいるページのうち、現在表示されている見開き画像のページに最も近いページを前記指定ページとするステップであることを特徴とする請求項1記載の画像表示方法。   The step of specifying as the designated page is a step of setting, as the designated page, a page closest to a page of a spread image that is currently displayed among the pages including the designated position. The image display method according to 1. 前記プレビュー画像の表示位置が、前記指示された位置と重ならない位置に設定されることを特徴とする請求項1または2記載の画像表示方法。   The image display method according to claim 1, wherein the display position of the preview image is set to a position that does not overlap the instructed position. 前記プレビュー画像が半透明画像で表示されることを特徴とする請求項1〜3のいずれかに記載の画像表示方法。   The image display method according to claim 1, wherein the preview image is displayed as a translucent image. 前記各ページの縁が見えるように重ねて表示するステップでは、各ページの画像を本の小口側および地側へそれぞれずらして表示することを特徴とする請求項1〜4のいずれかに記載の画像表示方法。   5. The display according to any one of claims 1 to 4, wherein in the step of displaying the pages so that the edges of the pages are visible, the images of the pages are shifted and displayed to the fore edge side and the ground side of the book, respectively. Image display method. 前記各ページの画像と小口側および地側への位置のずらし量との割合を変化させ、小口および地側の幅を大きくして見開き画像を表示させるステップを含んでいることを特徴とする請求項5記載の画像表示方法。   The method includes a step of changing the ratio between the image of each page and the shift amount of the position toward the fore edge and the ground side and increasing the width of the fore edge and the ground side to display a spread image. Item 6. The image display method according to Item 5. 前記ページ切り替え指示がなされたときに見開き画像を表示するとともに、見開き画像に予め設定されている演出効果に関する情報を合わせて表示するステップを含んでいることを特徴とする請求項1〜6のいずれかに記載の画像表示方法。   7. The method according to any one of claims 1 to 6, further comprising a step of displaying a spread image when the page switching instruction is given and displaying information related to a preset effect on the spread image. The image display method of crab. 請求項1〜7のいずれかに記載された画像表示方法の各ステップをコンピュータによって実行させる画像表示用コンピュータプログラム。   A computer program for image display which causes a computer to execute each step of the image display method according to claim 1. 請求項8に記載された画像表示用コンピュータプログラムを格納したコンピュータによる読み取り可能な記録媒体。   A computer-readable recording medium storing the image display computer program according to claim 8.
JP2008201949A 2008-08-05 2008-08-05 Image display method, computer program for image display, and recording medium Pending JP2010039757A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008201949A JP2010039757A (en) 2008-08-05 2008-08-05 Image display method, computer program for image display, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008201949A JP2010039757A (en) 2008-08-05 2008-08-05 Image display method, computer program for image display, and recording medium

Publications (1)

Publication Number Publication Date
JP2010039757A true JP2010039757A (en) 2010-02-18

Family

ID=42012243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008201949A Pending JP2010039757A (en) 2008-08-05 2008-08-05 Image display method, computer program for image display, and recording medium

Country Status (1)

Country Link
JP (1) JP2010039757A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190124A (en) * 2011-03-09 2012-10-04 Seiko Epson Corp Display control method, display device, and electronic apparatus
JP2016018342A (en) * 2014-07-07 2016-02-01 大日本印刷株式会社 Information processor, display control method, and display control program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201024A (en) * 1989-12-28 1991-09-02 Canon Inc Document processor
JPH08292962A (en) * 1995-04-20 1996-11-05 Fuji Xerox Co Ltd Document display device
JP2000242390A (en) * 1999-02-18 2000-09-08 Sony Corp Display method for information and information display device
JP2004318581A (en) * 2003-04-17 2004-11-11 Canon Inc Information processor and method of displaying print preview
JP2006119882A (en) * 2004-10-21 2006-05-11 Matsushita Electric Ind Co Ltd Image display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201024A (en) * 1989-12-28 1991-09-02 Canon Inc Document processor
JPH08292962A (en) * 1995-04-20 1996-11-05 Fuji Xerox Co Ltd Document display device
JP2000242390A (en) * 1999-02-18 2000-09-08 Sony Corp Display method for information and information display device
JP2004318581A (en) * 2003-04-17 2004-11-11 Canon Inc Information processor and method of displaying print preview
JP2006119882A (en) * 2004-10-21 2006-05-11 Matsushita Electric Ind Co Ltd Image display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190124A (en) * 2011-03-09 2012-10-04 Seiko Epson Corp Display control method, display device, and electronic apparatus
JP2016018342A (en) * 2014-07-07 2016-02-01 大日本印刷株式会社 Information processor, display control method, and display control program

Similar Documents

Publication Publication Date Title
US11157154B2 (en) Media-editing application with novel editing tools
US10380773B2 (en) Information processing apparatus, information processing method, and computer readable medium
JP3871684B2 (en) Content playback apparatus and menu screen display method
US8875025B2 (en) Media-editing application with media clips grouping capabilities
US7836389B2 (en) Editing system for audiovisual works and corresponding text for television news
US20060036959A1 (en) Common user interface for accessing media
US11747972B2 (en) Media-editing application with novel editing tools
JP2007199780A (en) Information processor, program, and recording medium
JP2005202863A (en) Information display program, method and device, and recording medium
JP4467462B2 (en) Electronic book display device and method of operating the display device
KR100383326B1 (en) Method, apparatus for editing and processing a document using a printer driver, and storage media recording computer readable print driver program
JP2002157275A (en) Picture display device and storage medium
JP2010039757A (en) Image display method, computer program for image display, and recording medium
US20160077719A1 (en) Interactive blocking and management for performing arts productions
JP2010039991A (en) Image display method, computer program for image display, and recording medium
JP4671679B2 (en) File information output device and file information output program
US7376332B2 (en) Information processing method and information processing apparatus
JP2006286012A (en) Display device
JP5094693B2 (en) Recording medium for recording display data and display device therefor
JP2007096678A (en) Moving video editing device, moving video editing method, and computer program
JP7473916B2 (en) Teaching material authoring system
JP7473917B2 (en) Teaching material authoring system
JP5095489B2 (en) Effect image creating device, effect image creating method, effect image creating program, and recording medium
JP2000259135A (en) Device and method for displaying presentation data, and computer-readable recording medium recording presentation data display program
JP2007164585A (en) Manual preparation tool

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130123