JP7032679B2 - Information processing equipment, information processing system, information processing method and program - Google Patents

Information processing equipment, information processing system, information processing method and program Download PDF

Info

Publication number
JP7032679B2
JP7032679B2 JP2020187787A JP2020187787A JP7032679B2 JP 7032679 B2 JP7032679 B2 JP 7032679B2 JP 2020187787 A JP2020187787 A JP 2020187787A JP 2020187787 A JP2020187787 A JP 2020187787A JP 7032679 B2 JP7032679 B2 JP 7032679B2
Authority
JP
Japan
Prior art keywords
image
information processing
screen
photographing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020187787A
Other languages
Japanese (ja)
Other versions
JP2021016194A5 (en
JP2021016194A (en
Inventor
晃一 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2020187787A priority Critical patent/JP7032679B2/en
Publication of JP2021016194A publication Critical patent/JP2021016194A/en
Publication of JP2021016194A5 publication Critical patent/JP2021016194A5/ja
Priority to JP2022004946A priority patent/JP7252501B2/en
Application granted granted Critical
Publication of JP7032679B2 publication Critical patent/JP7032679B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, an information processing method and a program.

製薬企業では、近年「薬の副作用」についての情報管理業務である製薬安全性情報管理業務(PV業務)が行われている。具体的には、製造販売後調査として製薬企業の医薬情報担当者(MR=Medical Representative=MR)が、当該製薬企業の提供している薬品の副作用や、当該薬品の使用によるものと疑われる感染症について調査する調査票を医師渡して記入してもらい、所定期間後に病院に出向いて回収する。 In recent years, pharmaceutical companies have been engaged in pharmaceutical safety information management business (PV business), which is information management business regarding "side effects of drugs". Specifically, as a post-marketing surveillance, a pharmaceutical representative (MR = Medical Representativeive = MR) of a pharmaceutical company has a side effect of a drug provided by the pharmaceutical company or an infection suspected to be caused by the use of the drug. Give the doctor a questionnaire to investigate the disease, have him fill it out, and go to the hospital to collect it after a predetermined period of time.

そして、例えば病院近くのコンビニ等からFAXで本社に当該調査票を送信し、本社から独立行政法人 医薬品医療機器総合機構(Pdma(登録商標))に対して当該データを送信・登録することでPdmaへの薬の副作用・感染症報告を行っている。近くにFAXできる端末がない場合は、一度営業所に戻って、営業所に設置されているFAX装置から調査票のデータを本社にFAX送信している。この調査・報告業務は、薬事法に従って行われる業務である。 Then, for example, the questionnaire is sent to the head office by fax from a convenience store near the hospital, and the data is transmitted and registered from the head office to the Pharmaceuticals and Medical Devices Agency (Pdma (registered trademark)), thereby causing Pdma. We are reporting side effects and infectious diseases of the drug. If there is no terminal that can be faxed nearby, the company returns to the sales office and faxes the survey form data from the fax device installed at the sales office to the head office. This investigation / reporting work is carried out in accordance with the Pharmaceutical Affairs Law.

一部の企業では、このFAX装置を探す手間を省くため、調査票をスマートデバイスで撮影して、撮影した写真を本社のサーバに送信するシステムを採用している。例えば特許文献1では、建造物の被害状況の調査票の情報を入力し、携帯電話で撮影した画像と共に、調査票のデータベースを備えるホストコンピュータに送信する技術が公開されている。 Some companies have adopted a system that takes a survey form with a smart device and sends the taken picture to the server at the head office in order to save the trouble of searching for this fax machine. For example, Patent Document 1 discloses a technique of inputting information on a survey form of damage to a building and transmitting it to a host computer having a database of the search form together with an image taken by a mobile phone.

特開2001-167133号公報Japanese Unexamined Patent Publication No. 2001-167133

調査票のサイズは一般にA4サイズであり、複数ページにわたることがある。ページ数が多い場合には、調査票をA3見開きの冊子として綴じて医師に渡すことが行われている。ページごとの報告用に写真を残したい場合は、見開きの片側ページごとに撮影を行わなければならず手間であった。 The size of the questionnaire is generally A4 size and may span multiple pages. When the number of pages is large, the questionnaire is bound as an A3 spread booklet and handed to the doctor. If I wanted to keep a photo for a page-by-page report, I had to take a photo for each page on one side of the spread, which was a hassle.

また、見開きページを撮影した1枚の画像を片側のページごとの画像となるように分割することが考えられるが、撮影時において撮影した画像が1枚のままなのか分割されたのかを確認するには、撮影済の画像の一覧を表示して画像を1枚1枚表示して確認しなければならず手間であった。 In addition, it is conceivable to divide one image of a double-page spread so that it becomes an image for each page on one side, but it is confirmed whether the image taken at the time of shooting remains one or is divided. It was troublesome to display a list of captured images and display the images one by one for confirmation.

本発明は、撮影に応じて得られる画像の数を容易に調整可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of easily adjusting the number of images obtained according to shooting.

本発明は、撮影手段を備える情報処理装置であって、
当該情報処理装置の画面の向きを示す情報を取得する取得手段と、
前記取得手段で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られる画像を1枚の画像として取得するための第1の画面を表示し、
前記取得手段で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られる画像を複数枚の画像に分割して取得するための、前記第1の画面とは異なる第2の画面を表示するように制御する制御手段と、
を備えることを特徴とする。
The present invention is an information processing device including a photographing means.
An acquisition means for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired by the acquisition means indicates the orientation corresponding to the vertically long screen, the first screen for acquiring the image obtained by the imaging by the imaging means as one image is displayed. Display and
In the second case where the information acquired by the acquisition means indicates the orientation corresponding to the horizontally long screen, the image obtained by the imaging by the imaging means is divided into a plurality of images and acquired. A control means for controlling to display a second screen different from the first screen,
It is characterized by having.

本発明によれば、撮影に応じて得られる画像の数を容易に調整可能な仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism that can easily adjust the number of images obtained according to shooting.

本発明の第1の実施形態における、情報処理システムの構成の一例を示す図である。It is a figure which shows an example of the structure of the information processing system in 1st Embodiment of this invention. 本発明の第1の実施形態における、各種装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the various apparatus in 1st Embodiment of this invention. 本発明の第1の実施形態における、各種装置の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of various devices in 1st Embodiment of this invention. 本発明の第1の実施形態における、情報処理装置の向きに応じたモード設定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the mode setting process according to the direction of the information processing apparatus in 1st Embodiment of this invention. 本発明の第1の実施形態における、モードに応じたガイド画像の表示処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the display process of the guide image according to a mode in 1st Embodiment of this invention. 本発明の第1の実施形態における、モードに応じた撮影画像の表示及び記憶処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the display and the storage process of the photographed image according to the mode in 1st Embodiment of this invention. 本発明の第1の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of various data structures in 1st Embodiment of this invention. 本発明の第1の実施形態における、撮影画面及びプレビュー表示画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the shooting screen and the preview display screen in the 1st Embodiment of this invention. 本発明の第1の実施形態における、撮影画面及びプレビュー表示画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the shooting screen and the preview display screen in the 1st Embodiment of this invention. 本発明の第1の実施形態における、画像一覧画面及び送信画面の構成の一例を示す図である。It is a figure which shows an example of the structure of the image list screen and the transmission screen in the 1st Embodiment of this invention. 本発明の第1の実施形態における、画像補正の説明図である。It is explanatory drawing of image correction in 1st Embodiment of this invention. 本発明の第1の実施形態における、加速度の値の一例を示す図である。It is a figure which shows an example of the value of acceleration in 1st Embodiment of this invention. 本発明の第1の実施形態における、携帯端末の向きと加速度の値の関係の一例を示す図である。It is a figure which shows an example of the relationship between the direction of a mobile terminal, and the value of acceleration in 1st Embodiment of this invention. 本発明の第2の実施形態における、処理の流れを示す図である。It is a figure which shows the flow of the process in the 2nd Embodiment of this invention. 本発明の第3の実施形態における、処理の流れを示す図である。It is a figure which shows the flow of the process in the 3rd Embodiment of this invention. 本発明の第4の実施形態における、処理の流れを示す図である。It is a figure which shows the flow of the process in 4th Embodiment of this invention.

はじめに、本発明の課題と効果の詳細について説明する。 First, the details of the problems and effects of the present invention will be described.

例えば、撮影した画像を左右に分割することで、被写体となる調査票の見開き2ページが撮影された画像を、ページごとの画像とすることができると考えられる。画像の分割は、例えば既存の画像分割用の専用アプリケーションで対象の画像を選択し、分割処理を実行することで実現できる。 For example, by dividing the captured image into left and right, it is considered that the image in which the two-page spread of the questionnaire, which is the subject, is captured can be used as an image for each page. Image segmentation can be realized, for example, by selecting a target image with an existing dedicated image segmentation application and executing the division process.

一方、撮影した全ての画像について分割が必要とは限らない。例えば、表紙を撮影する場合は、最初から調査票の画像は表紙1ページ分しかないため分割は不要である。また、見開き2ページの片面(片側のページ)が白紙の場合、白紙ではないもう一方のページのみを撮影することが考えられる。この場合も、撮影されている調査票のページは最初から1ページ分のため画像の分割は不要である。 On the other hand, not all captured images need to be divided. For example, when the cover is photographed, the image of the questionnaire is only for one page of the cover from the beginning, so that it is not necessary to divide the image. If one side (one side of the page) of the two-page spread is blank, it is conceivable to shoot only the other page that is not blank. In this case as well, since the page of the questionnaire being photographed is one page from the beginning, it is not necessary to divide the image.

特に撮影した画像が多い場合等、撮影した画像の中から複数枚に分割したい画像を探し出すのは手間である。 Especially when there are many captured images, it is troublesome to find the image to be divided into a plurality of captured images.

よって、例えば撮影を実行する端末(本発明では携帯端末)において、撮影した画像をそのまま1枚の画像として記憶するモードと、例えば左右に分割して2枚の画像として記憶するモードを設け、撮影時に設定されていたモードが撮影した画像をそのまま1枚の画像として記憶するモードであれば、撮影した画像を1枚の画像として記憶し、撮影時に設定されていたモードが画像を左右に分割して2枚の画像として記憶するモードであれば画像を分割して記憶することが考えられる。 Therefore, for example, in a terminal that executes shooting (portable terminal in the present invention), a mode for storing the shot image as it is as one image and a mode for storing the shot image as two images by dividing it into left and right, for example, are provided for shooting. If the mode set at the time is a mode in which the captured image is stored as one image as it is, the captured image is stored as one image, and the mode set at the time of shooting divides the image into left and right. In the mode of storing as two images, it is conceivable to divide the image and store it.

しかし、これらのモードを手動で切り替える(変更する)のは手間である。 However, manually switching (changing) these modes is a hassle.

また、手動での切り替えの場合、モードの切り替えを忘れてしまうことが考えられる。モードの切り替えを忘れて撮影してしまった場合、本当は分割したかった画像が1枚の画像として記憶されてしまったり、反対に、本当は1枚の画像として記憶したかった画像が分割されてしまったりするという問題が生じる可能性がある。 Also, in the case of manual switching, it is possible to forget to switch modes. If you forget to switch the mode and shoot, the image you really wanted to divide will be stored as one image, or conversely, the image you really wanted to divide as one image will be divided. The problem of chilling can occur.

これに対し本発明においては、ユーザの、被写体をできるだけはっきりと、又は/及び、大きく撮影しようとする習慣を想定・加味した仕組みを提供する。 On the other hand, the present invention provides a mechanism that assumes and takes into account the habit of the user trying to shoot the subject as clearly and / or as large as possible.

例えば見開き2ページの画像、つまり横長の被写体の画像を撮影する際は、携帯端末を横向きに構えて撮影し、例えば表紙等1ページの画像、つまり縦長の被写体の画像を撮影する際は、携帯端末を縦向きに構えて撮影すると想定される。 For example, when shooting a two-page spread image, that is, an image of a horizontally long subject, hold the mobile terminal sideways and shoot, for example, when shooting a one-page image such as a cover, that is, an image of a vertically long subject, carry the mobile phone. It is assumed that the terminal is held vertically for shooting.

本発明においては、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。 In the present invention, it is possible to automatically switch between a mode for storing captured images as they are and a mode for dividing captured images according to the orientation of the device.

つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。 That is, it is possible to provide a mechanism that can easily adjust the number of images to be stored according to the shooting.

また、一般的には、撮影した画像は永続記憶領域であるハードディスク等の外部メモリに自動で記憶される。撮影ミスをした場合は、同じ被写体を再撮影することがあるが、本発発明において一例として挙げている調査票の画像のように後に何かしらの業務に用いる画像の場合、同じページの画像の重複は、後の報告業務における業務進行の妨げ・遅れにつながることがある。 Further, in general, the captured image is automatically stored in an external memory such as a hard disk, which is a permanent storage area. If you make a mistake in shooting, you may re-shoot the same subject, but in the case of an image that will be used for some business later, such as the image of the questionnaire given as an example in the present invention, the images on the same page will be duplicated. May hinder or delay the progress of work in later reporting work.

例えば同じ被写体(調査票のページ)の画像を重複して送信対象として選択してしまい、報告先へ送信してしまうというミスの原因となる可能性がある。 For example, images of the same subject (survey form page) may be duplicated and selected as transmission targets, which may cause a mistake of sending to the report destination.

そのため、撮影した画像を自動で外部メモリに記憶するのではなく、撮影後に撮影した画像をプレビュー表示する等してユーザに確認させ、報告業務において報告先に送信する画像として外部メモリに記憶するか確認・選択させ、送信対象として適切な画像を記憶装置に記憶させることが望ましい。 Therefore, instead of automatically storing the captured image in the external memory, do you want the user to confirm the captured image by displaying a preview after shooting and store it in the external memory as an image to be sent to the report destination in the reporting work? It is desirable to confirm and select an image and store an appropriate image as a transmission target in a storage device.

しかし、一般に提供されている撮影画像のプレビュー表示機能では撮影直後に撮影した画像をそのまま(1枚だけ)表示画面に表示するため、画像を分割するモードで撮影された画像が本当に複数枚の画像として分割されて記憶されたのか確認することができない。 However, in the preview display function of the captured image that is generally provided, the image captured immediately after shooting is displayed as it is (only one image) on the display screen, so the images taken in the mode of dividing the image are really multiple images. It is not possible to confirm whether it was divided and stored as.

また、一般に提供されている撮影画像のプレビュー表示機能を使って、分割した画像のうち1枚(例えば左側のページの画像)を画面に表示した場合、ユーザは右側のページの画像を撮影されているか確認することができず、再撮影を行ってしまうことが考えられる。 Also, if one of the divided images (for example, the image on the left page) is displayed on the screen using the preview display function of the captured image that is generally provided, the user will be able to capture the image on the right page. It is possible that the image cannot be confirmed and the image is taken again.

つまり、撮影された画像が適切な画像の枚数となっているか確認することができない。 That is, it is not possible to confirm whether the number of captured images is an appropriate number of images.

本発明においては、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。 In the present invention, it is possible to provide a mechanism for easily confirming that an image has been photographed in a mode for dividing the image after the image has been photographed.

また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。 Further, it is possible to provide a mechanism for easily confirming that the image is divided after the image is taken and after the image is taken.

これにより、ユーザは画面に表示された画像を、その後利用する画像として記憶すべきか否かを容易に判断できるようになる。 This allows the user to easily determine whether or not the image displayed on the screen should be stored as an image to be used thereafter.

つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。 That is, it is possible to provide a mechanism that can easily adjust the number of images to be stored according to the shooting.

以下、図面を参照して、本発明の実施の形態の一例について説明する。 Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.

<第1の実施形態>
まず図1を参照して、本発明の第1の実施形態における、情報処理システムの構成の一例について説明する。
<First Embodiment>
First, with reference to FIG. 1, an example of the configuration of the information processing system according to the first embodiment of the present invention will be described.

本発明の情報処理システムは、携帯端末100と、サーバ200が、ネットワーク101(例えばWAN=ワイドエリアネットワーク)を介して通信可能に接続され構成されている。 The information processing system of the present invention is configured by connecting a mobile terminal 100 and a server 200 so as to be able to communicate with each other via a network 101 (for example, WAN = wide area network).

携帯端末100は、調査票をカメラで撮影して記憶し、ネットワーク101を介してサーバ200に送信する情報処理装置である。また、携帯端末100はタッチパネルディスプレイを備える。 The mobile terminal 100 is an information processing device that captures a survey form with a camera, stores it, and transmits it to the server 200 via the network 101. Further, the mobile terminal 100 includes a touch panel display.

サーバ200は、携帯端末100から送信された複数の画像を受信し、1つのPDFファイルに変換して保存する。以上が図1の説明である。 The server 200 receives a plurality of images transmitted from the mobile terminal 100, converts them into one PDF file, and stores the images. The above is the description of FIG.

次に図2を参照して、本発明の第1の実施形態における各種装置のハードウェア構成の一例について説明する。図2は、携帯端末100、サーバ200のハードウェア構成の一例を示す図である。 Next, with reference to FIG. 2, an example of the hardware configuration of various devices according to the first embodiment of the present invention will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the mobile terminal 100 and the server 200.

図2に示すように、情報処理装置では、システムバス204を介してCPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、入力コントローラ205、ビデオコントローラ206、メモリコントローラ207、および通信I/Fコントローラ208が接続される。 As shown in FIG. 2, in the information processing apparatus, a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an input controller 205, a video controller 206, and so on, via a system bus 204. The memory controller 207 and the communication I / F controller 208 are connected.

CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。 The CPU 201 comprehensively controls each device and controller connected to the system bus 204.

ROM202あるいは外部メモリ211は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。 The ROM 202 or the external memory 211 is a control program executed by the CPU 201 such as a BIOS (Basic Input / Output System) or an OS (Operating System), a computer-readable program for realizing the information processing method, and various necessary programs. Holds data (including data table).

RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。 The RAM 203 functions as a main memory, a work area, and the like of the CPU 201. The CPU 201 realizes various operations by loading a program or the like necessary for executing the process from the ROM 202 or the external memory 211 into the RAM 203 and executing the loaded program.

入力コントローラ205は、キーボードや不図示のマウス等のポインティングデバイス、カメラ等の入力装置209からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができることとする。 The input controller 205 controls input from a pointing device such as a keyboard or a mouse (not shown), or an input device 209 such as a camera. When the input device is a touch panel, the user can give various instructions by pressing (touching with a finger or the like) the icon, the cursor, or the button displayed on the touch panel.

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 Further, the touch panel may be a touch panel such as a multi-touch screen that can detect a position touched by a plurality of fingers.

ビデオコントローラ206は、ディスプレイ装置210などの外部出力装置への表示を制御する。ディスプレイ装置は本体と一体になったノート型パソコンのディスプレイ装置も含まれるものとする。 The video controller 206 controls the display to an external output device such as the display device 210. The display device shall include the display device of the notebook personal computer integrated with the main body.

なお、外部出力装置はディスプレイ装置に限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。例えば携帯端末100は、タッチパネルディスプレイ装置を備える。 The external output device is not limited to the display device, and may be, for example, a projector. Further, as for the device capable of accepting the above-mentioned touch operation, an input device is also provided. For example, the mobile terminal 100 includes a touch panel display device.

なおビデオコントローラ206は、表示制御を行うためのビデオメモリ(VRAM)を制御することが可能で、ビデオメモリ領域としてRAM203の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。 The video controller 206 can control a video memory (VRAM) for display control, can use a part of the RAM 203 as a video memory area, or can provide a dedicated video memory separately. It is possible.

メモリコントローラ207は、外部メモリ211へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置(ハードディスク)、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等を利用可能である。 The memory controller 207 controls access to the external memory 211. The external memory is connected to a boot program, various applications, font data, user files, edit files, an external storage device (hard disk) for storing various data, a flexible disk (FD), or a PCMCIA card slot via an adapter. Compact Flash (registered trademark) memory etc. can be used.

通信I/Fコントローラ208は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信やISDNなどの電話回線、および携帯電話の3G回線を用いた通信が可能である。 The communication I / F controller 208 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, communication using TCP / IP, a telephone line such as ISDN, and communication using a 3G line of a mobile phone are possible.

尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。 The CPU 201 enables display on the display by, for example, executing an outline font expansion (rasterization) process in the display information area in the RAM 203. Further, the CPU 201 enables a user instruction with a mouse cursor or the like (not shown) on the display.

212は加速度センサであり、例えば携帯端末100の加速度を検出する。尚、加速度センサが外部装置として携帯端末100等の装置に取り付けられている場合、例えば、加速度センサ212は入力コントローラと205通信することで検出した加速度の情報を携帯端末100に伝達する Reference numeral 212 is an acceleration sensor, for example, detecting the acceleration of the mobile terminal 100. When the acceleration sensor is attached to a device such as the mobile terminal 100 as an external device, for example, the acceleration sensor 212 transmits the detected acceleration information to the mobile terminal 100 by communicating with the input controller 205.

213は撮影装置であり、被写体の画像を撮影する。尚、撮影装置が外部装置として携帯端末100等の装置に取り付けられている場合、例えば、撮影装置213は入力コントローラ205と通信することで検出した撮影した画像を携帯端末100に出力する。以上が図2の説明である。 Reference numeral 213 is a photographing device, which captures an image of a subject. When the photographing device is attached to a device such as a mobile terminal 100 as an external device, for example, the photographing device 213 outputs the captured image detected by communicating with the input controller 205 to the portable terminal 100. The above is the explanation of FIG.

次に図3を参照して、本発明の第1の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of the functional configuration of various devices in the first embodiment of the present invention will be described.

携帯端末100には、311~317に示す機能を備える、画像記憶アプリケーションがインストールされている。 An image storage application having the functions shown in 311 to 317 is installed in the mobile terminal 100.

撮影部311は、被写体を撮影することにより撮影画像を生成して取得する機能部である。向き判定部312は、携帯端末100の向き(画面の向き)を判定数判定して特定する機能部である。 The photographing unit 311 is a functional unit that generates and acquires a photographed image by photographing a subject. The orientation determination unit 312 is a functional unit that determines and identifies the orientation (screen orientation) of the mobile terminal 100 by determining the number of determinations.

モード設定部313は、向き判定部312により判定され、特定された向きに応じて、撮影された被写体の画像を1枚の画像として記憶・プレビュー表示するモードと、複数枚の画像として記憶・プレビュー表示するモードとを切り替えて設定する機能部である。 The mode setting unit 313 determines by the orientation determination unit 312, and stores / previews the captured subject image as one image and stores / previews as a plurality of images according to the specified orientation. It is a functional unit that switches between the display mode and the setting.

画面表示部314は、撮影画面やプレビュー表示画面を表示する機能部である。画像処理部315は、撮影した画像の形状補正や分割処理による分割後の画像の生成を行う機能部である。 The screen display unit 314 is a functional unit that displays a shooting screen or a preview display screen. The image processing unit 315 is a functional unit that corrects the shape of the captured image and generates an image after division by division processing.

記憶部316は、撮影された画像、補正後の画像を一時記憶領域に記憶したり、永続記憶領域に記憶したりする機能部である(記憶制御手段に該当)。送信部317は、送信対象とされた画像を送信先であるサーバ200に送信する機能部である。 The storage unit 316 is a functional unit that stores the captured image and the corrected image in the temporary storage area or the permanent storage area (corresponding to the storage control means). The transmission unit 317 is a functional unit that transmits the image to be transmitted to the server 200 that is the transmission destination.

受信部321は、送信部317により送信された画像を受信する機能部である。文書ファイル生成部322は、受信した複数の画像ファイルを1つの文書にまとめる処理を行う機能部である。具体的には、1回の調査票の報告として送信されてきた複数の画像を、複数ページのPDF帳票(1つの文書ファイル)に変換する。 The receiving unit 321 is a functional unit that receives the image transmitted by the transmitting unit 317. The document file generation unit 322 is a functional unit that performs a process of combining a plurality of received image files into one document. Specifically, a plurality of images transmitted as a report of one survey form are converted into a PDF form (one document file) having a plurality of pages.

記憶部323は、受信した画像を記憶し、前述した文書ファイルを調査結果のデータとして記憶する機能部である。以上が図3の説明である。 The storage unit 323 is a functional unit that stores the received image and stores the above-mentioned document file as the data of the investigation result. The above is the explanation of FIG.

次に図4を参照して、本発明の第1の実施形態における、情報処理装置の向きに応じたモード設定処理の流れについて説明する。図4の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。 Next, with reference to FIG. 4, the flow of the mode setting process according to the orientation of the information processing apparatus in the first embodiment of the present invention will be described. Each process of FIG. 4 is executed by the CPU 201 of the mobile terminal 100 using the functions of various functional units included in the image storage application stored in the mobile terminal 100.

ステップS401で、携帯端末100は、携帯端末100に記憶されている撮影アプリケーションをユーザ操作に応じて起動し、撮影画面を表示する。 In step S401, the mobile terminal 100 activates the shooting application stored in the mobile terminal 100 in response to a user operation, and displays a shooting screen.

具体的には、画像記憶アプリケーションの起動後に表示される不図示のメニュー画面から、撮影画面の表示操作を受け付けたことに応じて撮影画面を表示する。また、画像記憶アプリケーションを終了するか、撮影画面の終了操作を受け付けることで、撮影画面の表示を終了する。 Specifically, the shooting screen is displayed according to the acceptance of the shooting screen display operation from the menu screen (not shown) displayed after the image storage application is started. In addition, the display of the shooting screen is terminated by terminating the image storage application or accepting the termination operation of the shooting screen.

撮影画面の一例を図8の800、図9の900に示す。800及び900の詳細については後述する。 An example of the shooting screen is shown in 800 in FIG. 8 and 900 in FIG. Details of 800 and 900 will be described later.

以降、画像記憶アプリケーションは、ステップS403~S405の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、画面の向き(携帯端末100の向き)を取得する都度実行する。 After that, the image storage application acquires the screen orientation (orientation of the mobile terminal 100) from the display of the shooting screen of the image storage application to the end of the display of the shooting screen in the processes of steps S403 to S405. Execute each time.

携帯端末100の向きの情報は、携帯端末100の向きが変わる都度取得される。具体機には、画像記憶アプリケーションがOSに対して、携帯端末100の向きが変化した場合には変化後(変更後)の向きを画像記憶アプリケーションに通知するよう指示・要求する。 Information on the orientation of the mobile terminal 100 is acquired each time the orientation of the mobile terminal 100 changes. The image storage application instructs and requests the OS to notify the image storage application of the changed (changed) orientation when the orientation of the mobile terminal 100 changes.

当該指示を受け付けたOSは、自機の向きが変化したと判定される都度、変化後の向きの情報を画像記憶アプリケーションに送信する。これを携帯端末100が受信してステップS402で取得する。 The OS that receives the instruction sends information on the changed orientation to the image storage application each time it is determined that the orientation of the own machine has changed. This is received by the mobile terminal 100 and acquired in step S402.

OSは図12の1200に示すような加速度の値から自機がどの向きを向いているかを特定する機能を有している。 The OS has a function of specifying which direction the aircraft is facing from the value of acceleration as shown in 1200 in FIG.

1210は、加速度と携帯端末100の向きの関係の一例である。X,Y,Zの値は加速度センサにより計測され取得した加速度の値を示す。OSは、例えば現在加速度センサによって計測されて取得されている値(X,Y,Z)と最も近い値の状態を現在の端末の向き(状態)と判断する。 1210 is an example of the relationship between the acceleration and the orientation of the mobile terminal 100. The values of X, Y, and Z indicate the values of acceleration measured and acquired by the acceleration sensor. The OS determines, for example, the state of the value closest to the value (X, Y, Z) currently measured and acquired by the acceleration sensor as the current terminal orientation (state).

実際の携帯端末100の向き(状態)と加速度の値の関係の一例を図13に示す。 FIG. 13 shows an example of the relationship between the orientation (state) of the actual mobile terminal 100 and the value of the acceleration.

OSは、画像記憶アプリケーションからの指示に従って、携帯端末100の画面の向きが変化する都度、変化後の向きを示す値を送信する。向きの値は図7の710に示す。具体的には、画面の向きが図12の1210の縦状態に最も近い状態の場合に「Portrait」という値を返す。画面の向きが逆さ状態に最も近い状態の場合に「Upsidedown」という値を返す。画面の向きが左横状態に最も近い状態の場合に「Landscapeleft」という値を返す。画面の向きが右横状態に最も近い状態の場合に「Landscaperight」という値を返す。画像記憶アプリケーションは、OSから送信された値を取得する。 The OS transmits a value indicating the orientation after the change each time the orientation of the screen of the mobile terminal 100 changes according to an instruction from the image storage application. The orientation values are shown in 710 of FIG. Specifically, when the orientation of the screen is the state closest to the vertical state of 1210 in FIG. 12, the value "Portrait" is returned. When the screen orientation is closest to the upside-down state, the value "Upside down" is returned. When the screen orientation is closest to the left horizontal state, the value "Landscapeleft" is returned. When the screen orientation is closest to the right horizontal state, the value "Landscaperight" is returned. The image storage application acquires the value transmitted from the OS.

ステップS403で、画像記憶アプリケーションは、取得した値に基づいて、画面が縦向きかと横向きか(縦長か横長か)を判定する。 In step S403, the image storage application determines whether the screen is portrait or landscape (portrait or landscape) based on the acquired value.

具体的には、OSから取得した値が「Portrait」又は「Upsidedown」の場合に、画面が縦向きであると判定する。また、取得した値が「Landscapeleft」又は「Landscaperight」の場合に、画面が横向きであると判定する。 Specifically, when the value acquired from the OS is "Portratt" or "Upsidown", it is determined that the screen is in portrait orientation. Further, when the acquired value is "Landscapeleft" or "Landscapelift", it is determined that the screen is landscape-oriented.

画面が縦向きの場合、処理をステップS404に移行し、撮影モードを「A4モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定700(図7)の値を、A4モードに設定変更する。モードの種類は図7に示すように「A4モード」と「A3モード」の2つがある。 When the screen is in portrait orientation, the process proceeds to step S404, and the shooting mode is set to "A4 mode". Specifically, the value of the mode setting 700 (FIG. 7), which is currently a valid setting in the image storage application, is changed to the A4 mode. As shown in FIG. 7, there are two types of modes, "A4 mode" and "A3 mode".

本実施形態の説明におけるA4モードとは、撮影した画像をそのままRAM203に記憶し、プレビュー表示するモードである。 The A4 mode in the description of the present embodiment is a mode in which the captured image is stored in the RAM 203 as it is and is displayed as a preview.

画面が横向きの場合、処理をステップS405に移行し、撮影モードを「A3モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定700(図7)の値を、A3モードに設定変更する。 When the screen is in landscape orientation, the process proceeds to step S405, and the shooting mode is set to "A3 mode". Specifically, the value of the mode setting 700 (FIG. 7), which is currently a valid setting in the image storage application, is changed to the A3 mode.

本実施形態の説明におけるA3モードとは、撮影した画像をRAM203に記憶した後、左右に分割して複数枚の画像として再記憶し、複数枚の画像を1画面でプレビュー表示するモードである。以上が図4の説明である。 The A3 mode in the description of the present embodiment is a mode in which the captured image is stored in the RAM 203, then divided into left and right and re-stored as a plurality of images, and the plurality of images are preview-displayed on one screen. The above is the explanation of FIG.

次に図5を参照して、本発明の第1の実施形態における、モードに応じたガイド画像の表示処理の流れについて説明する。図5の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。 Next, with reference to FIG. 5, the flow of the guide image display processing according to the mode in the first embodiment of the present invention will be described. Each process of FIG. 5 is executed by the CPU 201 of the mobile terminal 100 using the functions of various functional units included in the image storage application stored in the mobile terminal 100.

画像記憶アプリケーションは、ステップS501からステップS505の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、撮影モードが変更される都度(画面の向きを取得する都度)実行する。 The image storage application performs the processes from step S501 to step S505 each time the shooting mode is changed (acquires the orientation of the screen) from the display of the shooting screen of the image storage application to the end of the display of the shooting screen. Execute (every time).

ステップS501で、画像記憶アプリケーションは、図4のステップS404またはS405で設定、変更されたモード設定700を参照する。 In step S501, the image storage application refers to the mode setting 700 set and changed in step S404 or S405 of FIG.

ステップS502で、現在設定中のモードがA4モードかA3モードか判定する。A4モードが設定されている場合は処理をステップS505に移行し、A3モードが設定されている場合は、処理をステップS503に移行する。 In step S502, it is determined whether the currently set mode is A4 mode or A3 mode. If the A4 mode is set, the process proceeds to step S505, and if the A3 mode is set, the process proceeds to step S503.

ステップS505で、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きなA4用紙の縦横比(縦:横=√2:1)の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にA4縦の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する(ライブビューに重畳表示する)。 In step S505, the image storage application determines the rectangular size of the largest A4 paper aspect ratio (vertical: horizontal = √2: 1) that can be placed in the live view display area with respect to the live view display area of the shooting screen. Calculate, determine the placement position in the display area of the live view, specify the positions of the four corners when an A4 vertical rectangle is placed at that position, and display the guide frame at the specified four corner positions. (Overlaid on the live view).

ライブビュー表示の機能は、一般的にコンパクトデジタルカメラやスマートフォン等に搭載されている機能である。具体的には、ディスプレイ装置に対して、例えば自機の備える撮影装置(カメラ/撮像装置)の撮影素子からの出力を、映像としてリアルタイムに映し出す機能である。 The live view display function is generally installed in compact digital cameras, smartphones, and the like. Specifically, it is a function of displaying the output from the photographing element of the photographing device (camera / image pickup device) provided in the own device on the display device in real time as an image.

A4モードにおける撮影画面の一例を図8の800に示す。805はライブビューの表示領域である。804はシャッターボタンである。 An example of the shooting screen in the A4 mode is shown in 800 in FIG. 805 is a display area of the live view. 804 is a shutter button.

801は、被写体である調査票である。802は、携帯端末100において現在A4モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン802は、現在設定されているモードがA3モードになれば、A3モードを示す表示に切り替えて表示する(図9のアイコン902)。 Reference numeral 801 is a survey form which is a subject. Reference numeral 802 is an icon for notifying the user so that it can be identified that the A4 mode is currently set in the mobile terminal 100. When the currently set mode becomes the A3 mode, the icon 802 switches to the display indicating the A3 mode and displays it (icon 902 in FIG. 9).

803はガイド枠である。ガイド枠803の画像は予め携帯端末100の外部メモリ211に記憶されている。例えば図7のガイド画像720における「guide_frame.jpg」がガイド枠803の画像である。 Reference numeral 803 is a guide frame. The image of the guide frame 803 is stored in advance in the external memory 211 of the mobile terminal 100. For example, "guide_frame.jpg" in the guide image 720 of FIG. 7 is an image of the guide frame 803.

ステップS503では、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きな横向きA3用紙の縦横比(縦:横=1:√2)の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にA3横の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する(ライブビューに重畳表示する)。ガイド枠は、例えばガイド枠903である。 In step S503, the image storage application has a rectangular size of the largest landscape A3 paper aspect ratio (vertical: horizontal = 1: √2) that can be placed in the live view display area with respect to the live view display area of the shooting screen. Is calculated, the placement position in the display area of the live view is determined, the positions of the four corners when the rectangle next to A3 is placed at the position are specified, and the guide frame is displayed at the specified four corner positions. (Superimpose on live view). The guide frame is, for example, a guide frame 903.

さらに、ステップS504で、ライブビューの表示領域の中央に、撮影後のA3見開きの補正画像を左右に分割する基準となるガイド線(区切り線)を重畳表示する。具体的には図9の900に示すように、ガイド線906を表示する。 Further, in step S504, a guide line (separator line) as a reference for dividing the corrected image of the A3 spread after shooting into left and right is superimposed and displayed in the center of the display area of the live view. Specifically, as shown in 900 in FIG. 9, the guide line 906 is displayed.

A4の冊子を開いた際の(A3見開きの)ノドの部分を当該ガイド線に合わせて調査票を撮影することで、適切に左右のページを分割できる画像を撮影することができる。以上が図5の説明である。 By aligning the throat portion (of the A3 spread) when the A4 booklet is opened with the guide line and taking a survey sheet, it is possible to take an image in which the left and right pages can be appropriately divided. The above is the explanation of FIG.

A3モードにおける撮影画面の一例を図9の900に示す。905はライブビューの表示領域である。904はシャッターボタンである。 An example of the shooting screen in the A3 mode is shown in 900 in FIG. Reference numeral 905 is a display area of the live view. 904 is a shutter button.

901Lは、被写体である調査票のA3見開きの左側のページである。901Rは、被写体である調査票のA3見開きの右側のページである。 901L is the page on the left side of the A3 spread of the questionnaire that is the subject. 901R is the page on the right side of the A3 spread of the questionnaire that is the subject.

902は、携帯端末100において現在A3モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン902は、現在設定されているモードがA4モードになれば、A4モードを示す表示に切り替えて表示する(図8のアイコン802)。 Reference numeral 902 is an icon for notifying the user so that it can be identified that the A3 mode is currently set in the mobile terminal 100. When the currently set mode becomes the A4 mode, the icon 902 is switched to the display indicating the A4 mode and displayed (icon 802 in FIG. 8).

また、A3モードのアイコン902の押下を受け付けた場合は、携帯端末100の向きに関わらず、設定中のモードをA4モードに切り替える。 When the A3 mode icon 902 is pressed, the mode being set is switched to the A4 mode regardless of the orientation of the mobile terminal 100.

903はガイド枠である。ガイド枠903の画像は予め携帯端末100の外部メモリ211に記憶されている。例えば図7のガイド画像720における「guide_frame.jpg」であり、ガイド枠803の画像と同じである。 903 is a guide frame. The image of the guide frame 903 is stored in advance in the external memory 211 of the mobile terminal 100. For example, it is "guide_frame.jpg" in the guide image 720 of FIG. 7, which is the same as the image of the guide frame 803.

906はガイド線である。ガイド線906の画像は予め携帯端末100の外部メモリ211に記憶されている。例えば図7のガイド画像720における「guide_line.jpg」がガイド線906の画像である。 906 is a guide line. The image of the guide line 906 is stored in advance in the external memory 211 of the mobile terminal 100. For example, "guide_line.jpg" in the guide image 720 of FIG. 7 is an image of the guide line 906.

次に図6を参照して、本発明の第1の実施形態における、モードに応じた撮影画像の表示及び記憶処理の流れについて説明する。図6の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。 Next, with reference to FIG. 6, the flow of display and storage processing of captured images according to the mode in the first embodiment of the present invention will be described. Each process of FIG. 6 is executed by the CPU 201 of the mobile terminal 100 using the functions of various functional units included in the image storage application stored in the mobile terminal 100.

ステップS601で、画像記憶アプリケーションは撮影操作を受け付ける。例えばシャッターボタンの押下操作を受ける。撮影操作を受け付けると、ステップS602で撮影を実行する。具体的には、画像記憶アプリケーションが、携帯端末100が備える撮影装置に撮影実行を指示し、撮影装置が撮影を実行する。 In step S601, the image storage application accepts a shooting operation. For example, the operation of pressing the shutter button is received. When the shooting operation is accepted, shooting is executed in step S602. Specifically, the image storage application instructs the photographing device included in the mobile terminal 100 to execute shooting, and the photographing device executes shooting.

ステップS603で、画像記憶アプリケーションは撮影装置から撮影された画像(撮影画像)を取得すると、一時記憶領域に保存する。 In step S603, when the image storage application acquires an image (captured image) captured from the photographing device, it stores it in the temporary storage area.

具体的には、RAM203の上に撮影画像の一時記憶テーブルを生成し、当該テーブルに記憶する。例えば、ステップS603で画像を記憶した一時記憶テーブルの一例を図7の撮影画像記憶テーブル730に示す。 Specifically, a temporary storage table for captured images is generated on the RAM 203 and stored in the table. For example, an example of the temporary storage table in which the image is stored in step S603 is shown in the captured image storage table 730 of FIG.

ステップS604で、画像記憶アプリケーションは、現在設定中のモードを参照する。具体的には、図7のモード設定700の値を参照する。 In step S604, the image storage application refers to the mode currently being set. Specifically, the value of the mode setting 700 in FIG. 7 is referred to.

ステップS605で、画像記憶アプリケーションは、現在設定中のモードがA4モードかA3モードか判定する。A4モードが設定されている場合は処理をステップS612に移行し、A3モードが設定されている場合は、処理をステップS606に移行する。 In step S605, the image storage application determines whether the mode currently being set is the A4 mode or the A3 mode. If the A4 mode is set, the process proceeds to step S612, and if the A3 mode is set, the process proceeds to step S606.

ステップS612で、画像記憶アプリケーションは、ステップS604で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、A4縦の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。変形の様子を図11の1120に示す。 In step S612, the image storage application acquires and corrects the image temporarily stored in step S604. Specifically, it recognizes the vertices of the subject in the acquired image, and corrects the shape of the image so that the recognized vertices match the vertices of the rectangle indicating the shape of the A4 vertical paper. .. The state of deformation is shown in 1120 of FIG.

例えば図11の1102に示す被写体の頂点(補正対象の点)を、A4縦のサイズの矩形(予め携帯端末100の外部メモリに記憶されている矩形)の頂点に一致させるように、矢印1103に示すように画像を変形させ、当該被写体の画像を縦向きのA4用紙のサイズ・形状とする補正を行う。図11の1100では説明のため、ガイド枠の頂点1101を用いて図示している。補正の途中の例を1110に示す。 For example, the arrow 1103 is indicated by the arrow 1103 so that the apex of the subject (point to be corrected) shown in 1102 of FIG. 11 matches the apex of a rectangle having an A4 vertical size (a rectangle stored in advance in the external memory of the mobile terminal 100). As shown, the image is deformed, and the image of the subject is corrected to have the size and shape of the vertically oriented A4 paper. In 1100 of FIG. 11, for the sake of explanation, the apex 1101 of the guide frame is used for illustration. An example in the middle of correction is shown in 1110.

実査には、外部メモリに記憶されているA4縦のサイズの矩形の各頂点に左上、右上、左下、右下を示す識別情報をそれぞれ付与する。また、トリミングした被写体の画像の各頂点にも左上、右上、左下、右下を示す識別情報をそれぞれ付与し、左上の頂点同士、右上の頂点同士、左下の頂点同士、右下の頂点同士が一致するように、被写体の画像を変形させることで、当該被写体の画像をA4用紙の縦横比(縦:横=√2:1)に合うように形状変更する補正を行う。 In the actual inspection, identification information indicating upper left, upper right, lower left, and lower right is given to each vertex of the A4 vertical size rectangle stored in the external memory. In addition, identification information indicating the upper left, upper right, lower left, and lower right is also given to each vertex of the trimmed subject image, and the upper left vertices, the upper right vertices, the lower left vertices, and the lower right vertices are assigned to each other. By deforming the image of the subject so as to match, the correction is performed to change the shape of the image of the subject so as to match the aspect ratio (vertical: horizontal = √2: 1) of the A4 paper.

その後、RAM203等の一時記憶領域に、補正後の画像であって、プレビュー表示する画像を記憶する補正画像記憶テーブルを生成して、補正後の画像(補正画像)をそのまま(1枚の画像として)記憶する。補正後の画像をそのまま記憶した補正画像記憶テーブルの一例を図7の740Aに示す。 After that, a corrected image storage table for storing the corrected image and the image to be previewed is generated in the temporary storage area such as RAM 203, and the corrected image (corrected image) is used as it is (as one image). )Remember. An example of the corrected image storage table in which the corrected image is stored as it is is shown in 740A of FIG.

ステップS613で、画像記憶アプリケーションは、ステップS612で補正画像記憶テーブル740Aに記憶された補正後の画像を、表示画面に1枚の画像としてプレビュー表示する。プレビュー表示の一例を図8の810に示す。 In step S613, the image storage application previews the corrected image stored in the corrected image storage table 740A in step S612 as one image on the display screen. An example of the preview display is shown in 810 of FIG.

810は、A4モードが設定されている状態で撮影された画像のプレビュー表示画面の一例である。811は補正後の画像である。 Reference numeral 810 is an example of a preview display screen of an image taken with the A4 mode set. 811 is a corrected image.

「決定」ボタン812は、画像811を永続記憶領域、例えば外部メモリ211に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ200に送信する画像の候補として選択可能とする画像である。 The "decision" button 812 is a button for storing the image 811 in a permanent storage area, for example, an external memory 211. The image stored in the permanent storage area is an image that can be selected as a candidate for an image to be transmitted to the server 200 later.

「取り消し」ボタン813は、画像811を破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。 The "Cancel" button 813 is a button for discarding the image 811, ending the preview display, and returning to the shooting screen.

ステップS606では、画像記憶アプリケーションは、ステップS604で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、A3横の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。補正の内容はA4縦の補正時と同じである。 In step S606, the image storage application acquires and corrects the image temporarily stored in step S604. Specifically, it recognizes the vertices of the subject in the acquired image, and corrects the shape of the image so that the recognized vertices match the vertices of the rectangle indicating the shape of the A3 horizontal paper. .. The content of the correction is the same as that at the time of A4 vertical correction.

例えば図11の1122に示す被写体の頂点(補正対象の点)を、A3横のサイズの矩形(予め携帯端末100の外部メモリに記憶されている矩形)の頂点に一致させるように、矢印1123に示すように画像を変形させ、当該被写体の画像を横向きのA3用紙のサイズ・形状とする補正を行う。図11の1120では説明のため、ガイド枠の頂点1121を用いて図示している。 For example, the arrow 1123 is indicated by the arrow 1123 so that the apex of the subject (point to be corrected) shown in 1122 of FIG. 11 matches the apex of a rectangle having a size horizontal to A3 (a rectangle stored in advance in the external memory of the mobile terminal 100). As shown, the image is deformed, and the image of the subject is corrected to have the size and shape of the horizontal A3 paper. In 1120 of FIG. 11, for the sake of explanation, the apex 1121 of the guide frame is used for illustration.

その後、ステップS607で、画像記憶アプリケーションは、ステップS606で補正した画像を、左右に2等分に分割することで2枚の画像データを生成し、複数枚の画像として一時記憶領域に記憶する。 After that, in step S607, the image storage application generates two image data by dividing the image corrected in step S606 into two equal parts on the left and right, and stores the images as a plurality of images in the temporary storage area.

具体的には、補正画像記憶テーブルをRAM203に生成し、補正後のA3横向きの画像を、縦向きのA4画像2枚として分割して、2枚の画像を当該補正画像記憶テーブルに記憶する。 Specifically, a corrected image storage table is generated in the RAM 203, the corrected A3 horizontal image is divided into two vertical A4 images, and the two images are stored in the corrected image storage table.

分割された複数枚の画像を記憶した補正画像記憶テーブルの一例を図7の補正画像記憶テーブル740Bに示す。「picture001A_left」が、補正後の調査票の画像の左側ページの画像として分割され生成、記憶された画像である。「picture001A_right」が、補正後の調査票の画像の右側ページの画像として分割され生成、記憶された画像である。 An example of a corrected image storage table that stores a plurality of divided images is shown in the corrected image storage table 740B of FIG. 7. "Picture001A_left" is an image divided, generated, and stored as an image on the left page of the corrected questionnaire image. "Picture001A_right" is an image divided, generated, and stored as an image on the right page of the corrected questionnaire image.

ステップS608で、画像記憶アプリケーションは、ステップS607で分割し、補正画像記憶テーブル740Bに記憶された複数枚の補正後の画像を、表示画面に、分離させた状態で左右に並べてプレビュー表示する。プレビュー表示の一例を図9の910に示す。 In step S608, the image storage application divides in step S607 and displays a plurality of corrected images stored in the corrected image storage table 740B on the display screen side by side in a separated state for preview. An example of the preview display is shown in 910 of FIG.

補正画像記憶テーブル740Bから取得した複数の画像の表示位置を、複数の画像が離れて(分離して)表示される位置(例えば図9の910における914L、914Rの位置)にそれぞれ決定し、決定した位置のそれぞれに表示対象の画像を配置して表示する。 The display positions of the plurality of images acquired from the corrected image storage table 740B are determined and determined at positions where the plurality of images are displayed separately (separately) (for example, the positions of 914L and 914R in 910 of FIG. 9). The image to be displayed is placed and displayed at each of the positions.

具体的には、基準線915L(破線)の中心点の位置914Lに左側の画像の左辺の中心点を合わせ、当該画像を、基準線916L(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Lはライブビュー表示領域の左端から所定距離の位置に設定し、基準線916Lはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。 Specifically, the center point of the left side of the image on the left side is aligned with the position 914L of the center point of the reference line 915L (broken line), and the aspect ratio is maintained until the image reaches any of the reference lines 916L (broken line). The size and position of the image are determined by enlarging or reducing the image while keeping it. Each reference line is not displayed on the actual preview display screen. Further, the reference line 915L is set at a predetermined distance from the left end of the live view display area, and the reference line 916L is set at a predetermined distance from the upper end, the lower end, and the center of the live view display area, respectively.

また、基準線915R(破線)の中心点の位置914Rに右側の画像の右辺の中心点を合わせ、当該画像を、基準線916R(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Rはライブビュー表示領域の右端から所定距離の位置に設定し、基準線916Rはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。 Further, the center point of the right side of the image on the right side is aligned with the position 914R of the center point of the reference line 915R (broken line), and the image is enlarged while maintaining the aspect ratio until it reaches any of the reference lines 916R (dashed line). Alternatively, the size and position of the image are determined and displayed by reducing the size. Each reference line is not displayed on the actual preview display screen. Further, the reference line 915R is set at a predetermined distance from the right end of the live view display area, and the reference line 916R is set at a predetermined distance from the upper end, the lower end, and the center of the live view display area, respectively.

910は、A3モードが設定されている状態で撮影された画像を分割して表示しているプレビュー表示画面の一例である。911Lは、901Lに示す左ページの画像が補正された画像である。911Rは、901Rに示す右ページの画像が補正された画像である。 Reference numeral 910 is an example of a preview display screen in which an image taken with the A3 mode set is divided and displayed. 911L is an image in which the image on the left page shown in 901L is corrected. 911R is an image in which the image on the right page shown in 901R is corrected.

「決定」ボタン912は、画像911L及び911Rを永続記憶領域、例えば外部メモリ211に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ200に送信する画像の候補として選択可能とする画像である。 The "decision" button 912 is a button for storing the images 911L and 911R in a permanent storage area, for example, an external memory 211. The image stored in the permanent storage area is an image that can be selected as a candidate for an image to be transmitted to the server 200 later.

「取り消し」ボタン913は、画像911L及び911Rを破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。 The "Cancel" button 913 is a button for discarding the images 911L and 911R, ending the preview display, and returning to the shooting screen.

ステップS609で、画像記憶アプリケーションはユーザ操作を受け付け、ステップS610で、受け付けた操作がプレビュー表示されている画像(ステップS607又はS612で記憶された補正画像記憶テーブルの画像)の、外部メモリ211への記憶を確定する操作か、当該画像を破棄する操作か判定する(操作判定手段に該当)。 In step S609, the image storage application accepts the user operation, and in step S610, the image in which the accepted operation is preview-displayed (the image of the corrected image storage table stored in step S607 or S612) is transferred to the external memory 211. It is determined whether the operation is to confirm the memory or to discard the image (corresponding to the operation determination means).

例えば、プレビュー表示画面における「決定」ボタンの押下を受け付けた場合に、プレビュー表示されている画像の、外部メモリ211への記憶を確定する操作を受け付けたと判定する。 For example, when the press of the "OK" button on the preview display screen is accepted, it is determined that the operation of confirming the storage of the preview-displayed image in the external memory 211 is accepted.

また、プレビュー表示画面における「取り消し」ボタンの押下を受け付けた場合に、プレビュー表示されている画像を破棄する操作を受け付けたと判定する。 Further, when the press of the "Cancel" button on the preview display screen is accepted, it is determined that the operation of discarding the preview-displayed image is accepted.

ステップS609で受け付けた操作が、プレビュー表示されている画像の、外部メモリ211への記憶を確定する操作であると判定された場合は、処理をステップS611に移行する。 If it is determined that the operation received in step S609 is an operation for confirming the storage of the preview-displayed image in the external memory 211, the process proceeds to step S611.

ステップS609で受け付けた操作が、プレビュー表示されている画像の破棄の操作であると判定された場合に、プレビュー表示画面を終了して撮影画面を表示する。 When it is determined that the operation received in step S609 is an operation of discarding the image displayed in the preview, the preview display screen is terminated and the shooting screen is displayed.

ステップS611では、記憶を確定する操作がされた画像(「決定」ボタンの押下を受け付けた時点でプレビュー表示されていた画像)を、外部メモリ211に記憶する。具体的には、外部メモリ211に記憶されている画像記憶テーブル750(図7)に、当該画像を追加記憶する処理を行う。 In step S611, the image for which the operation for confirming the storage is performed (the image that was preview-displayed at the time when the "decision" button is accepted) is stored in the external memory 211. Specifically, a process of additionally storing the image in the image storage table 750 (FIG. 7) stored in the external memory 211 is performed.

その後、プレビュー表示画面を終了して撮影画面を表示する。以上が図6の説明である。 After that, the preview display screen is closed and the shooting screen is displayed. The above is the explanation of FIG.

図10を参照して、サーバ200へ送信する画像の選択及び送信処理について説明する。 The selection and transmission processing of the image to be transmitted to the server 200 will be described with reference to FIG.

画像一覧表示画面1000は、画像記憶テーブル750に記憶されている画像を1枚ずつ、一覧にして表示する画像一覧の表示画面である。 The image list display screen 1000 is an image list display screen that displays a list of images stored in the image storage table 750 one by one.

画像記憶アプリケーションは、不図示のメニュー画面において、画像一覧表示画面1000を表示する操作を受け付けることで、画像一覧表示画面1000を表示画面に表示する。 The image storage application displays the image list display screen 1000 on the display screen by accepting an operation for displaying the image list display screen 1000 on a menu screen (not shown).

画像記憶アプリケーションは、1001に示す一覧表示部に、1000に示すように画像一覧を、個別に選択可能に表示する。1002は各画像の撮影日時である。 The image storage application displays an image list individually and selectably on the list display unit shown in 1001 as shown in 1000. 1002 is the shooting date and time of each image.

画像の選択操作を受け付けると、画像を選択状態にする。選択状態の画像は選択枠1003を表示して識別可能とする。(選択受付手段に該当) When the image selection operation is accepted, the image is selected. The image in the selected state is made identifiable by displaying the selection frame 1003. (Corresponds to the selection reception method)

画像記憶アプリケーションは、「報告フォームへ移動」ボタン1004の押下を受け付けると、選択状態の画像をサーバ200への送信する対象画像として決定し、表示画面を報告フォーム画面1010に表示遷移させる。 When the image storage application receives the pressing of the "move to report form" button 1004, the image storage application determines the image in the selected state as the target image to be transmitted to the server 200, and shifts the display screen to the report form screen 1010.

ページ数表示部1011には、送信する対象画像の枚数を表示する。 The number of pages display unit 1011 displays the number of target images to be transmitted.

画像記憶アプリケーションは、報告する(サーバ200に画像を送信する)調査票の調査対象の薬剤名と、情報源(例えば調査票を回収した病院名)と、当該報告を識別するための任意の管理番号の入力を受け付ける。 The image storage application is an arbitrary management for identifying the drug name to be investigated in the questionnaire to be reported (sending an image to the server 200), the information source (for example, the name of the hospital from which the questionnaire was collected), and the report. Accepts number input.

そして、「送信」ボタン1012の押下を受け付けることで、送信対象の画像と、報告フォーム画面1010で入力を受け付けた各情報を、報告情報として、サーバ200に送信する。 Then, by accepting the pressing of the "send" button 1012, the image to be transmitted and each information for which the input is accepted on the report form screen 1010 are transmitted to the server 200 as report information.

サーバ200のCPU201は、当該報告情報を受信し、そのなかの画像データを取得して、1つの文書ファイルに変換する。例えば、10枚の画像を受信した場合、当該10枚の画像を10ページのPDFファイルに変換して外部メモリに記憶する。以上が図10の説明である。 The CPU 201 of the server 200 receives the report information, acquires the image data in the report information, and converts it into one document file. For example, when 10 images are received, the 10 images are converted into a 10-page PDF file and stored in an external memory. The above is the description of FIG.

以上説明したように、本発明によれば、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism that can easily adjust the number of images to be stored according to shooting.

例えば、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。 For example, depending on the orientation of the device, it is possible to automatically switch between a mode in which the captured image is stored as it is and a mode in which the captured image is divided.

また、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。 Further, it is possible to provide a mechanism for easily confirming that the image was taken in the mode of dividing the image after the image was taken.

また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。 Further, it is possible to provide a mechanism for easily confirming that the image is divided after the image is taken and after the image is taken.

これにより、ユーザは画面に表示された画像を、その後利用する(報告対象の画像としてサーバに送信すべき)画像として記憶すべきか否かを容易に判断できるようになる。 This makes it possible for the user to easily determine whether or not the image displayed on the screen should be stored as an image to be used thereafter (should be transmitted to the server as an image to be reported).

なお、例えば外出中に、カフェのバーカウンター等のように横のスペースは十分だが奥行きが浅くA4用紙を縦におけない場所において、A4用紙(調査票)が横向きに置かれて撮影されることが想定される。この場合ユーザは携帯端末100を横向きに構えてA4の画像1ページ分の画像を撮影したいと想定される。よって、上述した実施形態では、携帯端末100が横向きの状態であっても、A3モードのアイコン902の押下を受け付けた場合には、モードをA4モードに設定変更することができるものとした。 For example, when you are out, the A4 paper (questionnaire) should be placed sideways in a place where the horizontal space is sufficient but the depth is shallow and the A4 paper cannot be placed vertically, such as a bar counter in a cafe. Is assumed. In this case, it is assumed that the user wants to hold the mobile terminal 100 sideways and take an image for one page of the A4 image. Therefore, in the above-described embodiment, even if the mobile terminal 100 is in the landscape orientation, the mode can be changed to the A4 mode when the A3 mode icon 902 is pressed.

一方で、縦方向のスペースは十分にあり、横幅はA4用紙を横向きにおけるだけのスペースがある場所で、A3見開きの調査票を、開いた状態でA3縦の向きで置いて撮影したいこともあると考えられる。この場合ユーザは携帯端末100を縦向きに構えて撮影したいと想定される。つまり、端末が縦向きの場合であってもA3モードで撮影したいことがある可能性がある。よって、例えば、携帯端末100が縦向きの状態であっても、A4モードのアイコン802の押下を受け付けた場合には、モードをA3モードに設定変更するようにしてもよい。 On the other hand, there is enough space in the vertical direction, and the width is a place where there is only space for A4 paper in landscape orientation. it is conceivable that. In this case, it is assumed that the user wants to hold the mobile terminal 100 vertically and take a picture. That is, there is a possibility that you may want to shoot in A3 mode even when the terminal is oriented vertically. Therefore, for example, even if the mobile terminal 100 is in the vertical orientation, when the icon 802 of the A4 mode is pressed, the mode may be changed to the A3 mode.

<第2の実施形態>
次に図14を参照して、本発明の第2の実施形態における、処理の流れについて説明する。
<Second embodiment>
Next, with reference to FIG. 14, the flow of processing in the second embodiment of the present invention will be described.

第1の実施形態においては、携帯端末の向きに応じて撮影した画像をそのまま記憶して表示するモードと、撮影された画像を複数枚の画像に分割して、分割されたことが分かるように表示するモードを切り替えるものとした。しかし、必ずしも端末の向きが変わる都度モードを変更したくないことがある。 In the first embodiment, there is a mode in which the captured image is stored and displayed as it is according to the orientation of the mobile terminal, and the captured image is divided into a plurality of images so that the divided images can be understood. The display mode is switched. However, there are times when you do not necessarily want to change the mode each time the orientation of the terminal changes.

例えばA3モードのアイコン902が押下されてモードをA4モードに変更した場合、それ以降は端末が横向きであっても、A4モードで撮影・画像の記憶を継続したいことが考えられる。 For example, when the icon 902 of the A3 mode is pressed and the mode is changed to the A4 mode, it is conceivable that the user wants to continue shooting and storing images in the A4 mode even if the terminal is turned sideways after that.

A4縦の調査票をわざわざ横向きに置いて撮影するということは、当該調査票を横向きにしか置けない場所で撮影していると考えられるためである。 The reason why the A4 vertical survey form is purposely placed sideways for shooting is that it is considered that the survey form is taken in a place where it can only be placed sideways.

一方、第1の実施形態によれば、携帯端末100の向きが変わる都度、向きに応じたモードに設定中のモードが変更される。そのため、携帯端末100を手の中で持ち直したり、調査票の裏面も撮影しようと調査票を裏返したりするタイミング等で、携帯端末100を横向きの状態から縦向きに傾けてしまい、その後撮影を継続しようと、再び携帯端末100を横向きにした場合、モードがA3モードに切り替わってしまう。 On the other hand, according to the first embodiment, each time the orientation of the mobile terminal 100 changes, the mode being set to the mode corresponding to the orientation is changed. Therefore, at the timing of picking up the mobile terminal 100 in the hand or turning over the questionnaire to take a picture of the back side of the questionnaire, the mobile terminal 100 is tilted vertically from the horizontal state, and then the shooting is continued. If the mobile terminal 100 is turned sideways again, the mode is switched to the A3 mode.

第2の実施形態においては、モードを変更のタイミングを適切に決定する仕組みを提供する。 In the second embodiment, a mechanism for appropriately determining the timing of changing the mode is provided.

図14の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第1の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。 Each process of FIG. 14 is executed by the CPU 201 of the mobile terminal 100 using the functions of various functional units included in the image storage application stored in the mobile terminal 100. The description of the apparatus, configuration, processing, screen, data, etc. common to the first embodiment will be omitted.

図14の処理は、図4のステップS402の直後に開始する。 The process of FIG. 14 starts immediately after step S402 of FIG.

ステップS1401で、画像記憶アプリケーションは、携帯端末100が縦向きか横向きか判定する。当該判定処理は図4のステップS403の処理と同じである。 In step S1401, the image storage application determines whether the mobile terminal 100 is in portrait orientation or landscape orientation. The determination process is the same as the process of step S403 in FIG.

携帯端末100が縦向きであると判定された場合は処理をステップS1402に移行し、横向きであると判定された場合は処理をステップS1403に移行する。 If it is determined that the mobile terminal 100 is in portrait orientation, the process proceeds to step S1402, and if it is determined that the mobile terminal 100 is in landscape orientation, the process proceeds to step S1403.

ステップS1402では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にA3モードで撮影及び外部メモリ211への分割された画像の記憶がされているか判定する。 In step S1402, the image storage application determines whether or not shooting and storage of the divided image in the external memory 211 have already been performed in the A3 mode after the shooting screen is displayed from the menu screen (not shown).

例えば、図6のステップS611で、補正後の画像を外部メモリ211に記憶した後、記憶した画像がA4モードで撮影された画像であればフラグ=1を、A3モードで撮影された画像であればフラグ=2をRAM203に記憶し、撮影画面が終了してメニュー画面に戻った場合に当該フラグの値を0にするものとする。また、一度設定されたフラグは、メニュー画面に戻るまで変更しないものとする。 For example, in step S611 of FIG. 6, after the corrected image is stored in the external memory 211, if the stored image is an image taken in A4 mode, the flag = 1 is set, and the image is taken in A3 mode. For example, the flag = 2 is stored in the RAM 203, and the value of the flag is set to 0 when the shooting screen ends and the menu screen is returned. In addition, the flag once set shall not be changed until the menu screen is returned.

画像記憶アプリケーションは、当該フラグが1の場合はA4モードで撮影済(A3モードで撮影済ではない)と判定し、当該フラグが2の場合はA3モードで撮影済と判定する。また、フラグが0の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。 When the flag is 1, the image storage application determines that the image has been captured in A4 mode (not captured in A3 mode), and when the flag is 2, it is determined that the image has been captured in A3 mode. Further, when the flag is 0, it is determined that the image has not been taken yet after the day display transition from the menu screen to the shooting screen.

A3モードで撮影済と判定された場合は、設定中のモードをA3モードからA4モードに変更せずに、A3モードで撮影済でないと判定された場合は、処理を図4のステップS404に移行してモードをA4モードに変更する。 If it is determined that shooting has been completed in A3 mode, the mode being set is not changed from A3 mode to A4 mode, and if it is determined that shooting has not been completed in A3 mode, the process proceeds to step S404 in FIG. And change the mode to A4 mode.

ステップS1403では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にA4モードで撮影及び外部メモリ211への分割された画像の記憶がされているか判定する。 In step S1403, the image storage application determines whether or not shooting and storage of the divided image in the external memory 211 have already been performed in the A4 mode after the shooting screen is displayed from the menu screen (not shown).

例えば、前記フラグが1の場合はA4モードで撮影済と判定し、当該フラグが2の場合はA3モードで撮影済(A4モードで撮影済ではない)と判定する。また、フラグが0の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。 For example, when the flag is 1, it is determined that the image has been taken in the A4 mode, and when the flag is 2, it is determined that the image has been taken in the A3 mode (not taken in the A4 mode). Further, when the flag is 0, it is determined that the image has not been taken yet after the day display transition from the menu screen to the shooting screen.

A4モードで撮影済と判定された場合は、設定中のモードをA4モードからA3モードに変更しないことを決定し、モードを変更せずに、A4モードで撮影済でないと判定された場合は、処理を図4のステップS405に移行してモードをA3モードに変更することを決定し、A3モードに変更する。以上が第2の実施形態の説明である。 If it is determined that shooting has been completed in A4 mode, it is decided not to change the mode being set from A4 mode to A3 mode, and if it is determined that shooting has not been completed in A4 mode without changing the mode, The process shifts to step S405 of FIG. 4, it is determined to change the mode to the A3 mode, and the mode is changed to the A3 mode. The above is the description of the second embodiment.

第2の実施形態の発明によれば、モードを変更のタイミングを適切に決定する仕組みを提供することができる。 According to the invention of the second embodiment, it is possible to provide a mechanism for appropriately determining the timing of changing the mode.

<第3の実施形態>
次に図15を参照して、本発明の第3の実施形態における、処理の流れについて説明する。
<Third embodiment>
Next, with reference to FIG. 15, the flow of processing in the third embodiment of the present invention will be described.

第3の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか1枚記憶するかを適切に決定することができる仕組みを提供する。 In the third embodiment, even if the image is taken in a mode in which the captured image is divided into a plurality of images, the image of the subject is divided according to the relationship between the position of the subject and the reference position for division. It provides a mechanism that can appropriately determine whether to store both or one image.

図15の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第1の実施形態及び第2の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。 Each process of FIG. 15 is executed by the CPU 201 of the mobile terminal 100 using the functions of various functional units included in the image storage application stored in the mobile terminal 100. The description of the devices, configurations, processes, screens, data, etc. common to the first embodiment and the second embodiment will be omitted.

図15の処理は、図6のステップS605でA3モードであると判定された直後に開始する。 The process of FIG. 15 starts immediately after it is determined in step S605 of FIG. 6 that the mode is A3.

ステップS1501で、画像記憶アプリケーションは、撮影画像記憶テーブル730に記憶されている被写体の画像を読みだして被写体認識の処理を行い、被写体の頂点4点のライブビュー表示領域上の位置を特定する。そして、当該4点が、ライブビュー表示領域の左半分、又は右半分の領域内に収まるか判定する。つまり、画面の左右50%以内の領域に被写体が収まっているか判定する。(被写体判定手段に該当) In step S1501, the image storage application reads out the image of the subject stored in the captured image storage table 730, performs subject recognition processing, and identifies the positions of the four vertices of the subject on the live view display area. Then, it is determined whether or not the four points fit within the left half or the right half of the live view display area. That is, it is determined whether or not the subject is within 50% of the left and right sides of the screen. (Corresponds to subject determination means)

収まっていない場合は処理を図6のステップS607に移行する。収まっている場合には処理をステップS1502に移行する。 If it does not fit, the process proceeds to step S607 of FIG. If it is settled, the process proceeds to step S1502.

ステップS1502で、画像記憶アプリケーションは、当該被写体を検出した側(4つの頂点を検出した側)の画像を切り出して取得し、RAM203等の一時記憶領域に記憶する。 In step S1502, the image storage application cuts out and acquires an image on the side where the subject is detected (the side where the four vertices are detected) and stores it in a temporary storage area such as RAM 203.

ステップS1503で、画像記憶アプリケーションは、画像補正の補正先のサイズをA4縦のサイズ・形状の矩形に設定する。 In step S1503, the image storage application sets the correction destination size of the image correction to a rectangle having an A4 vertical size and shape.

そして、ステップS1504で、被写体を検出した側の画像(実際に撮影した画像の右半分又は左半分の画像)の中から認識した被写体(調査票)の画像を切り出し、当該被写体の画像の各頂点を、A4縦の矩形の頂点に合わせるように変形させて台形補正を行う。 Then, in step S1504, the image of the recognized subject (survey form) is cut out from the image on the side where the subject is detected (the image of the right half or the left half of the image actually taken), and each vertex of the image of the subject is cut out. Is transformed so as to match the vertices of the A4 vertical rectangle, and keystone correction is performed.

ステップS1505で、画像記憶アプリケーションは、補正後の画像を一時記憶領域(補正画像記憶テーブル)に記憶し、当該記憶した1枚の画像の、プレビュー画面における表示位置を決定する。 In step S1505, the image storage application stores the corrected image in the temporary storage area (corrected image storage table), and determines the display position of the stored image on the preview screen.

本実施形態においては、撮影された画像の被写体がライブビュー画面の左側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定して表示する。 In the present embodiment, when the subject of the captured image is contained in the left half of the live view screen, the display position of the corrected image of the subject is the position on the left side of the preview display screen. And display it.

具体的には、基準線915L(破線)の中心点の位置914Lに画像の左辺の中心点を合わせ、当該画像を、基準線916L(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Lはライブビュー表示領域の左端から所定距離の位置に設定し、基準線916Lはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。 Specifically, the center point of the left side of the image is aligned with the position 914L of the center point of the reference line 915L (broken line), and the aspect ratio of the image is maintained until it reaches any of the reference lines 916L (broken line). The size and position of the image is determined by enlarging or reducing it. Each reference line is not displayed on the actual preview display screen. Further, the reference line 915L is set at a predetermined distance from the left end of the live view display area, and the reference line 916L is set at a predetermined distance from the upper end, the lower end, and the center of the live view display area, respectively.

撮影された画像の被写体がライブビュー画面の右側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。 If the subject of the captured image fits in the right half of the live view screen, the display position of the corrected image of the subject is determined to be the position on the right side of the preview display screen.

具体的には、基準線915R(破線)の中心点の位置914Rに画像の右辺の中心点を合わせ、当該画像を、基準線916R(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Rはライブビュー表示領域の右端から所定距離の位置に設定し、基準線916Rはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。 Specifically, the center point of the right side of the image is aligned with the position 914R of the center point of the reference line 915R (broken line), and the aspect ratio of the image is maintained until it reaches any of the reference lines 916R (broken line). By enlarging or reducing, the size and position of the image are determined and displayed. Each reference line is not displayed on the actual preview display screen. Further, the reference line 915R is set at a predetermined distance from the right end of the live view display area, and the reference line 916R is set at a predetermined distance from the upper end, the lower end, and the center of the live view display area, respectively.

ステップS1506で、画像記憶アプリケーションは、ステップS1505で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。 In step S1506, the image storage application arranges and displays the corrected subject image stored in the corrected image storage table at the position determined in step S1505.

なお、ステップS1505で決定された位置が画面左側の位置914Lを基準として基準線915Lと基準線916Lとの間の位置となる場合、画面右側の基準線915Rと基準線916Rとの間の位置には画像を表示しない。また、ステップS1505で決定された位置が画面右側の位置914Rを基準として基準線915LRと基準線916Rとの間の位置となる場合、画面左側の基準線915Lと基準線916Lとの間の位置には画像を表示しない。以上が第3の実施形態の説明である。 When the position determined in step S1505 is a position between the reference line 915L and the reference line 916L with respect to the position 914L on the left side of the screen, the position is located between the reference line 915R and the reference line 916R on the right side of the screen. Does not display the image. Further, when the position determined in step S1505 is a position between the reference line 915LR and the reference line 916R with respect to the position 914R on the right side of the screen, the position is set to the position between the reference line 915L and the reference line 916L on the left side of the screen. Does not display the image. The above is the description of the third embodiment.

以上説明したように、本発明の第3の実施形態によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか1枚記憶するかを適切に決定することができる。 As described above, according to the third embodiment of the present invention, even if the image is taken in the mode of dividing the captured image into a plurality of images, the position of the subject and the reference position of the division are set. Depending on the relationship, it is possible to appropriately determine whether to divide the image of the subject and store both or one image.

例えば、調査票の表紙等A4縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。 For example, when shooting A4 vertical paper such as the cover of a survey form, it is possible to reduce the time and effort required to shoot the terminal vertically each time.

また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか1枚記憶しているか/記憶するかを強調してユーザに提示し、確認させることができる。 Also, by displaying the image of the subject only on one side of the screen, even if the image was taken in the mode of dividing the captured image into multiple images, the image of the subject can be divided and both can be stored. It is possible to emphasize whether to memorize / memorize and present it to the user for confirmation.

<第4の実施形態>
次に図16を参照して、本発明の第4の実施形態における、処理の流れについて説明する。
<Fourth Embodiment>
Next, with reference to FIG. 16, the flow of processing in the fourth embodiment of the present invention will be described.

第4の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、1枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供する。 In the fourth embodiment, even an image taken in a mode of dividing the shot image into a plurality of images is stored as one image or as a plurality of images depending on the shooting operation. It provides a mechanism that makes it easy to decide whether to do it.

図16の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第1の実施形態、第2の実施形態、第3の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。 Each process of FIG. 16 is executed by the CPU 201 of the mobile terminal 100 using the functions of various functional units included in the image storage application stored in the mobile terminal 100. The description of the apparatus, configuration, processing, screen, data, etc. common to the first embodiment, the second embodiment, and the third embodiment will be omitted.

また、第4の実施形態においては、撮影操作は、シャッターボタンの押下と、ライブビュー表示領域の押下(タッチ)の2種類あるものとする。 Further, in the fourth embodiment, there are two types of shooting operations: pressing the shutter button and pressing (touching) the live view display area.

画像記憶アプリケーションは、ステップS601で撮影操作を受け付けた場合に、当該撮影操作がシャッターボタンの押下操作か、ライブビュー表示領域の押下操作かを識別する識別情報をRAM203に記憶する。また、受け付けた操作がライブビュー表示領域の押下操作の場合には、押下された位置(ライブビュー表示領域上の位置)を記憶する。 When the shooting operation is accepted in step S601, the image storage application stores in the RAM 203 identification information that identifies whether the shooting operation is a shutter button pressing operation or a live view display area pressing operation. If the accepted operation is a pressing operation in the live view display area, the pressed position (position on the live view display area) is stored.

図16の処理は、図6のステップS603の直後に開始する。 The process of FIG. 16 starts immediately after step S603 of FIG.

ステップS1601で、画像記憶アプリケーションは、ステップS601で受け付けた撮影のための操作が、シャッターボタンの押下か、ライブビュー表示領域の押下か判定する。 In step S1601, the image storage application determines whether the operation for shooting received in step S601 is the pressing of the shutter button or the pressing of the live view display area.

シャッターボタンの押下である場合は、処理を図6のステップS604に移行する。ライブビュー表示領域の押下である場合には、処理をステップS1602に移行する。 If the shutter button is pressed, the process proceeds to step S604 in FIG. If the live view display area is pressed, the process proceeds to step S1602.

ステップS1602で、画像記憶アプリケーションは、撮影操作を受け付けた位置が、ライブビュー表示領域のガイド線上か、ガイド線上を除いた左半分の領域内か、ガイド線上を除いた右半分の領域内かを判定する。 In step S1602, the image storage application determines whether the position where the shooting operation is received is on the guide line of the live view display area, in the left half area excluding the guide line, or in the right half area excluding the guide line. judge.

ガイド線上、つまり、ライブビュー表示領域の中央線上に対する撮影操作の場合は、処理をステップS604に移行する。 In the case of a shooting operation on the guide line, that is, on the center line of the live view display area, the process proceeds to step S604.

撮影操作を受け付けた位置が、ガイド線上を除いた左半分の領域内の場合には処理をステップS1607に、ガイド線上を除いた右半分の領域内の場合には処理をステップS1603に移行する。 When the position where the photographing operation is received is within the area of the left half excluding the guide line, the process proceeds to step S1607, and when the position is within the area of the right half excluding the guide line, the process proceeds to step S1603.

ステップS1603で、画像記憶アプリケーションは、撮影画像記憶テーブル730に記憶されている画像を取得して左右に二等分し、右半分の画像を取得する。 In step S1603, the image storage application acquires the image stored in the captured image storage table 730, divides it into two halves on the left and right, and acquires the image on the right half.

ステップS1604で、ステップS1603で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、A4縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。 In step S1604, the image of the subject is cut out from the image acquired in step S1603, and the image is deformed and corrected so that each vertex of the image of the subject matches the vertex of the A4 vertical rectangle. Then, the corrected image is stored in the corrected image storage table.

一方、ステップS1607では、画像記憶アプリケーションは、撮影画像記憶テーブル730に記憶されている画像を取得して左右に二等分し、左半分の画像を取得する。 On the other hand, in step S1607, the image storage application acquires the image stored in the captured image storage table 730, divides it into two halves on the left and right, and acquires the image on the left half.

ステップS1608で、ステップS1607で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、A4縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。 In step S1608, the image of the subject is cut out from the image acquired in step S1607, and the image is deformed and corrected so that each vertex of the image of the subject matches the vertex of the A4 vertical rectangle. Then, the corrected image is stored in the corrected image storage table.

ステップS1605で、画像記憶アプリケーションは、補正後の画像のプレビュー画面における表示位置を決定する。 In step S1605, the image storage application determines the display position of the corrected image on the preview screen.

本実施形態においては、撮影操作の位置がライブビュー表示領域の左側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定する。 In the present embodiment, when the position of the shooting operation is within the area on the left side of the live view display area, the display position of the corrected image is determined to be the position on the left side of the preview display screen.

撮影操作の位置がライブビュー表示領域の右側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。 When the position of the shooting operation is within the area on the right side of the live view display area, the display position of the corrected image is determined to be the position on the right side of the preview display screen.

ステップS1606で、画像記憶アプリケーションは、ステップS1505で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。 In step S1606, the image storage application arranges and displays the corrected subject image stored in the corrected image storage table at the position determined in step S1505.

なお、ステップS1605で決定された位置が画面左側の位置の場合、画面右側の位置には画像を表示しない。また、ステップS1605で決定された位置が画面右側の位置の場合、画面左側の位置には画像を表示しない。以上が第3の実施形態の説明である。以上が第4の実施形態の説明である。 If the position determined in step S1605 is the position on the left side of the screen, the image is not displayed at the position on the right side of the screen. Further, when the position determined in step S1605 is the position on the right side of the screen, the image is not displayed at the position on the left side of the screen. The above is the description of the third embodiment. The above is the description of the fourth embodiment.

第4の実施形態の発明によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、1枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供することができる。 According to the invention of the fourth embodiment, even if the image is taken in the mode of dividing the shot image into a plurality of images, it is stored as one image or a plurality of images depending on the shooting operation. It is possible to provide a mechanism that can easily determine whether to store as an image.

例えば、調査票の表紙等A4縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。 For example, when shooting A4 vertical paper such as the cover of a survey form, it is possible to reduce the time and effort required to shoot the terminal vertically each time.

また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか1枚記憶しているか/記憶するかを強調してユーザに提示し、確認させることができる。 Also, by displaying the image of the subject only on one side of the screen, even if the image was taken in the mode of dividing the captured image into multiple images, the image of the subject can be divided and both can be stored. It is possible to emphasize whether to memorize / memorize and present it to the user for confirmation.

以上説明したように、本発明によれば、携帯端末において撮影された画像を適切に記憶するための仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism for appropriately storing an image taken by a mobile terminal.

上述した実施形態の説明においては、画像を受信したサーバ200側で画像を文書ファイルに変換するものとしたが、例えばサーバ200への送信対象の画像を1つの文書ファイルに変換する処理を携帯端末100で行ってから、サーバ200に送信するようにしてもよい。 In the description of the above-described embodiment, the image is converted into a document file on the server 200 side that receives the image. For example, the process of converting the image to be transmitted to the server 200 into one document file is performed on the mobile terminal. You may do it at 100 and then send it to the server 200.

また、上述した実施形態の説明においては、端末が縦向きの場合に撮影した画像をそのまま記憶するモードとし、端末が横向きの場合に撮影した画像を複数枚の画像として記憶するモードとし、当該モードに沿って画像を分割、記憶するものとしたが、モードの設定を設けずに、端末が横向きの場合に撮影した画像はそのまま記憶し、端末が横向きの場合に撮影した画像は複数枚の画像に分割して記憶、プレビュー表示するようにしてもよい。 Further, in the description of the above-described embodiment, the mode is set to store the image taken when the terminal is in portrait orientation as it is, and the mode is set to store the image taken when the terminal is in landscape orientation as a plurality of images. The images are divided and stored according to the above, but the images taken when the terminal is in landscape orientation are stored as they are, and the images taken when the terminal is in landscape orientation are multiple images without setting the mode. It may be divided into two parts for storage and preview display.

具体的には、図6のステップS603において、画像と撮影時の携帯端末100の向き(例えば縦向き又は横向き)を記憶しておき、ステップS604で当該撮影時の携帯端末100の向きの情報を参照して、ステップS605で撮影時の携帯端末100の向きが縦向きだったか横向きだったかを判定する。縦向きだった場合には処理をステップS612に移行し、横向きだった場合には処理をステップS606に移行する。 Specifically, in step S603 of FIG. 6, the image and the orientation of the mobile terminal 100 at the time of shooting (for example, portrait orientation or landscape orientation) are stored, and in step S604, information on the orientation of the mobile terminal 100 at the time of shooting is stored. With reference to this, it is determined in step S605 whether the orientation of the mobile terminal 100 at the time of shooting is portrait orientation or landscape orientation. If it is portrait orientation, the process proceeds to step S612, and if it is landscape orientation, the process proceeds to step S606.

また、上述した実施形態においては、画像が分割されて複数枚記憶されたことをユーザに確認させるために、プレビュー表示画面910において複数枚の画像を最初から離して位置決定・表示するものとしたが、例えば最初は複数の画像が接している状態で表示し、その後複数枚の画像が離れるようにプレビュー表示画面910の各画像の位置まで移動させるようアニメーション表示をすることで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。また、複数枚の画像が接している状態で表示し、それぞれの画像の辺を赤線等の線で識別表示する(それぞれの画像の辺の位置に赤線の画像を重畳表示する)ことで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。 Further, in the above-described embodiment, in order to make the user confirm that the images are divided and stored in a plurality of images, the positions of the plurality of images are determined and displayed apart from the beginning on the preview display screen 910. However, for example, by displaying the images in contact with each other at first and then moving the images to the position of each image on the preview display screen 910 so that the multiple images are separated from each other, a plurality of images are displayed. The user may be notified that the image has been stored and the user may be asked to confirm it. In addition, by displaying multiple images in contact with each other and identifying and displaying the sides of each image with lines such as red lines (the red line images are superimposed and displayed at the positions of the sides of each image). , The user may be notified that a plurality of images have been stored and confirmed.

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。また、上述した各実施形態は自由に組み合わせ可能である。 The present invention can be, for example, an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system composed of a plurality of devices, or 1 It may be applied to a device consisting of two devices. In addition, each of the above-described embodiments can be freely combined.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiment, which is directly or remotely supplied to a system or an apparatus. The present invention also includes cases where the computer of the system or apparatus can also read and execute the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM,DVD-R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a method of supplying the program, the browser of the client computer is used to connect to the homepage of the Internet. Then, it can also be supplied by downloading the computer program of the present invention itself or a compressed file including an automatic installation function to a recording medium such as a hard disk from the homepage.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that causes a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, and distributed to users, and the key information for decrypting the encryption is downloaded from the homepage to the user who clears the predetermined conditions. Let me. Then, by using the downloaded key information, it is also possible to execute an encrypted program and install it on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these.
That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

100 携帯端末
101 ネットワーク
200 サーバ

100 Mobile Terminal 101 Network 200 Server

Claims (26)

撮影手段を備える情報処理装置であって、
当該情報処理装置の画面の向きを示す情報を取得する取得手段と、
前記取得手段で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られる画像を1枚の画像として取得するための第1の画面を表示し、
前記取得手段で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られる画像を複数枚の画像に分割して取得するための、前記第1の画面とは異なる第2の画面を表示するように制御する制御手段と、
を備えることを特徴とする情報処理装置。
An information processing device equipped with a shooting means
An acquisition means for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired by the acquisition means indicates the orientation corresponding to the vertically long screen, the first screen for acquiring the image obtained by the imaging by the imaging means as one image is displayed. Display and
In the second case where the information acquired by the acquisition means indicates the orientation corresponding to the horizontally long screen, the image obtained by the imaging by the imaging means is divided into a plurality of images and acquired. A control means for controlling to display a second screen different from the first screen,
An information processing device characterized by being equipped with.
前記制御手段は、前記第1の画面にはライブビュー画像を表示する領域の左右の区切りを示す表示物は表示することなく、前記第2の画面にライブビュー画像を表示する領域の左右の区切りを示す表示物を表示するように制御することを特徴とする請求項1に記載の情報処理装置。 The control means does not display a display object indicating the left / right division of the area for displaying the live view image on the first screen, and the left / right division of the area for displaying the live view image on the second screen. The information processing apparatus according to claim 1, wherein the display object indicating the above is controlled to be displayed. 前記制御手段は、前記第1の画面に第1の用紙サイズを示す表示物を表示し、前記第2の画面に前記第1の用紙サイズよりも大きい第2の用紙サイズを示す表示物を表示するように制御することを特徴とする請求項1または2に記載の情報処理装置。 The control means displays a display object indicating the first paper size on the first screen, and displays a display object indicating a second paper size larger than the first paper size on the second screen. The information processing apparatus according to claim 1 or 2, wherein the information processing apparatus is controlled so as to be used. 前記制御手段は、
前記第1の画面を表示した後に、ユーザからの操作に応じて、当該情報処理装置の向きにかかわらず、前記第2の画面に切り替える制御と、
前記第2の画面を表示した後に、ユーザからの操作に応じて、当該情報処理装置の向きにかかわらず、前記第1の画面に切り替える制御と、
のうち少なくとも一方を行うことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
The control means is
After displaying the first screen, the control to switch to the second screen according to the operation from the user regardless of the orientation of the information processing apparatus.
After displaying the second screen, the control to switch to the first screen according to the operation from the user regardless of the orientation of the information processing apparatus.
The information processing apparatus according to any one of claims 1 to 3, wherein at least one of them is performed.
前記制御手段は、
前記第1の画面を表示している際に受け付けた撮影指示に応じた前記撮影手段による撮影により得られた画像を1枚の画像として取得し、
前記第2の画面を表示している際に受け付けた撮影指示に応じた記撮影手段による撮影により得られた画像を複数枚の画像に分割して取得するように制御することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
The control means is
An image obtained by shooting by the shooting means according to the shooting instruction received while displaying the first screen is acquired as one image.
A claim characterized in that an image obtained by shooting by a shooting means according to a shooting instruction received while displaying the second screen is controlled to be divided into a plurality of images and acquired. Item 6. The information processing apparatus according to any one of Items 1 to 4.
前記制御手段は、前記第2の画面を表示している際に受け付けた撮影指示に応じた撮影により得られた画像を複数枚の画像に分割して取得した後は、当該情報処理装置の姿勢が変わっても前記第1の画面には切り替えないように制御することを特徴とする請求項5に記載の情報処理装置。 The control means divides an image obtained by shooting according to a shooting instruction received while displaying the second screen into a plurality of images, and then obtains the posture of the information processing apparatus. The information processing apparatus according to claim 5, wherein the information processing apparatus is controlled so as not to switch to the first screen even if the information processing is changed. 前記第1の画面と前記第2の画面はそれぞれライブビュー画像が表示される画面であることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 6, wherein the first screen and the second screen are screens on which a live view image is displayed, respectively. 撮影手段を備える情報処理装置であって、
当該情報処理装置の画面の向きを示す情報を取得する取得手段と、
前記撮影手段による撮影の際に前記取得手段で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られた画像を1枚の画像として取得し、
前記撮影手段による撮影の際に前記取得手段で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られた画像を複数枚の画像に分割して取得するように制御する制御手段と、
を備えることを特徴とする情報処理装置。
An information processing device equipped with a shooting means
An acquisition means for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired by the acquisition means at the time of photographing by the photographing means indicates the direction corresponding to the vertically long screen, the image obtained by the photographing by the photographing means is regarded as one image. Acquired,
In the second case where the information acquired by the acquisition means at the time of photographing by the photographing means indicates the direction corresponding to the horizontally long screen, the images obtained by the photographing by the photographing means are combined into a plurality of images. A control means that controls the acquisition by dividing it,
An information processing device characterized by being equipped with.
前記制御手段は、前記撮影手段により得られた画像を、前記第1の場合には1枚の画像として記憶し、前記第2の場合には複数枚の画像に分割して記憶するように制御すること
を特徴とする請求項8に記載の情報処理装置。
The control means controls to store the image obtained by the photographing means as one image in the first case, and to divide and store the image in a plurality of images in the second case. The information processing apparatus according to claim 8, wherein the information processing apparatus is to be used.
撮影手段を備える情報処理装置であって、
当該情報処理装置の画面の向きを示す情報を取得する取得手段と、
前記撮影手段による撮影の際に前記取得手段で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られた画像を1枚の画像として出力し、
前記撮影手段による撮影の際に前記取得手段で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られた画像を複数枚の画像に分割して出力するように制御する制御手段と、
を備えることを特徴とする情報処理装置。
An information processing device equipped with a shooting means
An acquisition means for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired by the acquisition means at the time of photographing by the photographing means indicates the direction corresponding to the vertically long screen, the image obtained by the photographing by the photographing means is regarded as one image. Output and
In the second case where the information acquired by the acquisition means at the time of photographing by the photographing means indicates the direction corresponding to the horizontally long screen, the images obtained by the photographing by the photographing means are combined into a plurality of images. A control means that controls to output separately,
An information processing device characterized by being equipped with.
前記制御手段は、前記撮影手段により得られた画像を、前記第1の場合には1枚の画像として表示し、前記第2の場合には複数枚の画像に分割して表示するように制御すること
を特徴とする請求項10に記載の情報処理装置。
The control means controls so that the image obtained by the photographing means is displayed as one image in the first case and divided into a plurality of images in the second case. The information processing apparatus according to claim 10, wherein the information processing apparatus is to be used.
前記制御手段は、前記第2の場合に、前記複数枚の画像を互いに間隔を空けて表示するように制御することを特徴とする請求項11に記載の情報処理装置。 The information processing apparatus according to claim 11, wherein the control means controls the plurality of images so as to be displayed at intervals from each other in the second case. 前記制御手段は、前記撮影手段により得られた画像を、前記第1の場合には1つの選択肢として出力し、前記第2の場合には複数の選択肢に分割して出力するように制御することを特徴とする請求項10乃至12のいずれか1項に記載の情報処理装置。 The control means controls to output the image obtained by the photographing means as one option in the first case and to divide the image into a plurality of options in the second case and output the image. The information processing apparatus according to any one of claims 10 to 12, wherein the information processing apparatus is characterized. 前記制御手段は、前記撮影手段により得られた画像を、前記第1の場合には1枚の画像として送信し、前記第2の場合には複数枚の画像に分割して送信するように制御すること
を特徴とする請求項10乃至13のいずれか1項に記載の情報処理装置。
The control means controls to transmit the image obtained by the photographing means as one image in the first case, and to divide and transmit the image into a plurality of images in the second case. The information processing apparatus according to any one of claims 10 to 13, wherein the information processing apparatus is to be used.
前記制御手段は、前記撮影手段により得られた画像を、前記第1の場合には1つのページとして送信し、前記第2の場合には複数のページに分割して送信するように制御することを特徴とする請求項10乃至13のいずれか1項に記載の情報処理装置。 The control means controls to transmit the image obtained by the photographing means as one page in the first case and to divide and transmit the image into a plurality of pages in the second case. The information processing apparatus according to any one of claims 10 to 13. 前記縦長の画面に対応する向きは、画面の長手方向に文字列の上下方向が沿うように表示される向きであり、
前記横長の画面に対応する向きは、画面の短手方向に文字列の上下方向が合うように表示される向きであることを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。
The orientation corresponding to the vertically long screen is the orientation in which the vertical direction of the character string is displayed along the longitudinal direction of the screen.
The information according to any one of claims 1 to 15, wherein the orientation corresponding to the horizontally long screen is the orientation in which the vertical direction of the character string is aligned with the lateral direction of the screen. Processing equipment.
前記取得手段で取得する情報は、当該情報処理装置の重力方向に対する姿勢に基づく向きであって、予め定められた複数の向きのいずれかを示す情報であることを特徴とする請求項1乃至16のいずれか1項に記載の情報処理装置。 Claims 1 to 16 are characterized in that the information acquired by the acquisition means is an orientation based on the posture of the information processing apparatus with respect to the gravitational direction, and is information indicating any of a plurality of predetermined orientations. The information processing apparatus according to any one of the above items. 前記予め定められた複数の向きは、Portrait、Landscapeleft、Landscaperightを含み、前記Portraitは縦長の画面に対応する向きであり、前記Landscapeleftと前記Landscaperightは横長の画面に対応する向きであることを特徴とする請求項17に記載の情報処理装置。 The plurality of predetermined orientations include a Portrait, a Landscapeleft, and a Landscaperight, the Portrait is an orientation corresponding to a vertically long screen, and the Landscapeleft and the Landscaperight are orientations corresponding to a horizontally long screen. The information processing apparatus according to claim 17. 前記取得手段で取得する情報は、当該情報処理装置が備える加速度センサからの出力に基づく情報であることを特徴とする請求項1乃至18のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 18, wherein the information acquired by the acquisition means is information based on the output from the acceleration sensor included in the information processing apparatus. 前記制御手段は、前記第1の場合と第2の場合のいずれにおいても、撮影された画像に含まれる特定の被写体を認識し、前記特定の被写体が矩形となるように補正した画像を取得するように制御することを特徴とする請求項1乃至19のいずれか2項に記載の情報処理装置。 The control means recognizes a specific subject included in the captured image in both the first case and the second case, and acquires an image corrected so that the specific subject becomes a rectangle. The information processing apparatus according to any two of claims 1 to 19, wherein the information processing apparatus is controlled in such a manner. 前記特定の被写体は用紙であることを特徴とする請求項20に記載の情報処理装置。 The information processing apparatus according to claim 20, wherein the specific subject is paper. 前記制御手段は、前記第1の場合には前記撮影手段による1回の撮影により得られる画像を1枚の画像として取得し、前記第2の場合には前記撮影手段による1回の撮影により得られる画像を複数枚の画像に分割して取得するように制御することを特徴とする請求項1乃至21のいずれか1項に記載の情報処理装置。 In the first case, the control means acquires an image obtained by one shooting by the shooting means as one image, and in the second case, it is obtained by one shooting by the shooting means. The information processing apparatus according to any one of claims 1 to 21, wherein the image is controlled to be divided into a plurality of images and acquired. 撮影手段を備える情報処理装置の情報処理方法であって、
当該情報処理装置の画面の向きを示す情報を取得する取得工程と、
前記取得工程で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られる画像を1枚の画像として取得するための第1の画面を表示し、
前記取得工程で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られる画像を複数枚の画像に分割して取得するための、前記第1の画面とは異なる第2の画面を表示するように制御する制御工程と、
を含むことを特徴とする情報処理方法。
It is an information processing method of an information processing device equipped with an imaging means.
The acquisition process for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired in the acquisition step indicates the orientation corresponding to the vertically long screen, the first screen for acquiring the image obtained by the imaging by the imaging means as one image is displayed. Display and
In the second case where the information acquired in the acquisition step indicates the orientation corresponding to the horizontally long screen, the image obtained by photographing by the photographing means is divided into a plurality of images and acquired. A control process that controls to display a second screen different from the first screen,
An information processing method characterized by including.
撮影手段を備える情報処理装置の情報処理方法であって、
当該情報処理装置の画面の向きを示す情報を取得する取得工程と、
前記撮影手段による撮影の際に前記取得工程で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られた画像を1枚の画像として取得し、
前記撮影手段による撮影の際に前記取得工程で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られた画像を複数枚の画像に分割して取得するように制御する制御工程と、
を含むことを特徴とする情報処理方法。
It is an information processing method of an information processing device equipped with an imaging means.
The acquisition process for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired in the acquisition step at the time of photographing by the photographing means indicates the direction corresponding to the vertically long screen, the image obtained by the photographing by the photographing means is regarded as one image. Acquired,
In the second case where the information acquired in the acquisition step at the time of photographing by the photographing means indicates the direction corresponding to the horizontally long screen, the images obtained by the photographing by the photographing means are combined into a plurality of images. A control process that controls the acquisition by dividing it,
An information processing method characterized by including.
撮影手段を備える情報処理装置の情報処理方法であって、
当該情報処理装置の画面の向きを示す情報を取得する取得工程と、
前記撮影手段による撮影の際に前記取得工程で取得された情報が、縦長の画面に対応する向きを示す第1の場合には、前記撮影手段による撮影により得られた画像を1枚の画像として出力し、
前記撮影手段による撮影の際に前記取得工程で取得された情報が、横長の画面に対応する向きを示す第2の場合には、前記撮影手段による撮影により得られた画像を複数枚の画像に分割して出力するように制御する制御工程と、
を含むことを特徴とする情報処理方法。
It is an information processing method of an information processing device equipped with an imaging means.
The acquisition process for acquiring information indicating the orientation of the screen of the information processing device, and
In the first case where the information acquired in the acquisition step at the time of photographing by the photographing means indicates the direction corresponding to the vertically long screen, the image obtained by the photographing by the photographing means is regarded as one image. Output and
In the second case where the information acquired in the acquisition step at the time of photographing by the photographing means indicates the direction corresponding to the horizontally long screen, the images obtained by the photographing by the photographing means are combined into a plurality of images. A control process that controls to divide and output, and
An information processing method characterized by including.
コンピュータを、請求項1乃至2のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。 A program for making a computer function as each means of the information processing apparatus according to any one of claims 1 and 22.
JP2020187787A 2020-11-11 2020-11-11 Information processing equipment, information processing system, information processing method and program Active JP7032679B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020187787A JP7032679B2 (en) 2020-11-11 2020-11-11 Information processing equipment, information processing system, information processing method and program
JP2022004946A JP7252501B2 (en) 2020-11-11 2022-01-17 Information processing device, information processing system, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020187787A JP7032679B2 (en) 2020-11-11 2020-11-11 Information processing equipment, information processing system, information processing method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017022621A Division JP6795763B2 (en) 2017-02-09 2017-02-09 Information processing equipment, information processing system, information processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022004946A Division JP7252501B2 (en) 2020-11-11 2022-01-17 Information processing device, information processing system, information processing method and program

Publications (3)

Publication Number Publication Date
JP2021016194A JP2021016194A (en) 2021-02-12
JP2021016194A5 JP2021016194A5 (en) 2021-08-12
JP7032679B2 true JP7032679B2 (en) 2022-03-09

Family

ID=74531874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020187787A Active JP7032679B2 (en) 2020-11-11 2020-11-11 Information processing equipment, information processing system, information processing method and program

Country Status (1)

Country Link
JP (1) JP7032679B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069341A (en) 1999-08-30 2001-03-16 Canon Inc Picture processor, picture processing means and memory medium
JP2014120962A (en) 2012-12-18 2014-06-30 Casio Comput Co Ltd Information reading device and program
WO2015064608A1 (en) 2013-10-31 2015-05-07 京セラドキュメントソリューションズ株式会社 Image processing device and image processing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520424A (en) * 1991-07-15 1993-01-29 Nec Corp Electronic filing device
JPH0888759A (en) * 1994-09-19 1996-04-02 Ricoh Co Ltd Image processing unit and facsimile equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069341A (en) 1999-08-30 2001-03-16 Canon Inc Picture processor, picture processing means and memory medium
JP2014120962A (en) 2012-12-18 2014-06-30 Casio Comput Co Ltd Information reading device and program
WO2015064608A1 (en) 2013-10-31 2015-05-07 京セラドキュメントソリューションズ株式会社 Image processing device and image processing method

Also Published As

Publication number Publication date
JP2021016194A (en) 2021-02-12

Similar Documents

Publication Publication Date Title
KR100841281B1 (en) Electronic conference system, electronic conference controller, information terminal device, and electronic conference support method
CN108989663B (en) Control device, imaging system, and control method
US8094242B2 (en) Object management apparatus, mobile terminal, and object management method
US20050270579A1 (en) Printing apparatus and control method therefor
JP6702900B2 (en) Information processing apparatus, display control method, and program
JP6292181B2 (en) Information processing apparatus, information processing system, control method thereof, and program
US8269988B2 (en) Print terminal, print system, storage medium, and program
CN106373154B (en) Image processing apparatus and image processing method
JP7032679B2 (en) Information processing equipment, information processing system, information processing method and program
JP6849911B2 (en) Information processing equipment, information processing system, information processing method and program
KR101517829B1 (en) Book scanning system using smart device
JP2009020862A (en) Imaging apparatus, electronic album system, and image storage device
JP6795763B2 (en) Information processing equipment, information processing system, information processing method and program
US7898566B2 (en) Video processing apparatus and object identifying method
JP7252501B2 (en) Information processing device, information processing system, information processing method and program
JP2019008636A (en) Imaging System
JP2008217660A (en) Retrieval method and device
JP2023080117A (en) Information processing apparatus, information processing system, information processing method, and program
JP2013254244A (en) Information terminal and control method of the same, and program
JP6521121B2 (en) Display device, display system, and display program
JP2019101674A (en) Information processing device, control method therefor, and program
JP2020177355A (en) Information processing device and program
JP7436855B2 (en) Information processing device, control method, program
JP2019114977A (en) Information processor, control method thereof and program, information processing system, control method thereof and program
JPH09322059A (en) Image composing device and image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R151 Written notification of patent or utility model registration

Ref document number: 7032679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151