JP7252501B2 - Information processing device, information processing system, information processing method and program - Google Patents
Information processing device, information processing system, information processing method and program Download PDFInfo
- Publication number
- JP7252501B2 JP7252501B2 JP2022004946A JP2022004946A JP7252501B2 JP 7252501 B2 JP7252501 B2 JP 7252501B2 JP 2022004946 A JP2022004946 A JP 2022004946A JP 2022004946 A JP2022004946 A JP 2022004946A JP 7252501 B2 JP7252501 B2 JP 7252501B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- mode
- display
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method, and a program.
製薬企業では、近年「薬の副作用」についての情報管理業務である製薬安全性情報管理業務（ＰＶ業務）が行われている。具体的には、製造販売後調査として製薬企業の医薬情報担当者（ＭＲ＝Ｍｅｄｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＝ＭＲ）が、当該製薬企業の提供している薬品の副作用や、当該薬品の使用によるものと疑われる感染症について調査する調査票を医師渡して記入してもらい、所定期間後に病院に出向いて回収する。 In recent years, pharmaceutical companies have been carrying out drug safety information management (PV work), which is information management work on "side effects of drugs." Specifically, as a post-marketing survey, the person in charge of medical information (MR) of the pharmaceutical company will investigate the side effects of the drug provided by the pharmaceutical company and the infection suspected to be caused by the use of the drug. The doctor gives the patient a survey form to investigate the disease, and asks the patient to fill it in. After a predetermined period, the patient goes to the hospital and collects it.
そして、例えば病院近くのコンビニ等からＦＡＸで本社に当該調査票を送信し、本社から独立行政法人 医薬品医療機器総合機構（Ｐｄｍａ（登録商標））に対して当該データを送信・登録することでＰｄｍａへの薬の副作用・感染症報告を行っている。近くにＦＡＸできる端末がない場合は、一度営業所に戻って、営業所に設置されているＦＡＸ装置から調査票のデータを本社にＦＡＸ送信している。この調査・報告業務は、薬事法に従って行われる業務である。 Then, for example, the survey form is sent by fax from a convenience store near the hospital to the head office, and the data is sent and registered from the head office to the Pharmaceuticals and Medical Devices Agency (Pdma (registered trademark)). We report side effects and infectious diseases of drugs to patients. If there is no terminal that can be faxed nearby, the employee returns to the office once and faxes the questionnaire data to the head office from the fax machine installed in the office. This investigation/reporting work is carried out in accordance with the Pharmaceutical Affairs Law.
一部の企業では、このＦＡＸ装置を探す手間を省くため、調査票をスマートデバイスで撮影して、撮影した写真を本社のサーバに送信するシステムを採用している。例えば特許文献１では、建造物の被害状況の調査票の情報を入力し、携帯電話で撮影した画像と共に、調査票のデータベースを備えるホストコンピュータに送信する技術が公開されている。 Some companies have adopted a system in which the questionnaire is photographed with a smart device and the photographed photograph is sent to a server in the head office in order to save the trouble of searching for this FAX machine. For example, Japanese Patent Laid-Open No. 2002-200002 discloses a technique of inputting information on a survey form regarding the state of damage to a building and transmitting the data together with an image taken with a mobile phone to a host computer having a database of the survey form.
調査票のサイズは一般にＡ４サイズであり、複数ページにわたることがある。ページ数が多い場合には、調査票をＡ３見開きの冊子として綴じて医師に渡すことが行われている。ページごとの報告用に写真を残したい場合は、見開きの片側ページごとに撮影を行わなければならず手間であった。 The size of the questionnaire is generally A4 size and may span multiple pages. If the number of pages is large, the questionnaire is bound as an A3 double-page spread booklet and handed over to the doctor. If you want to keep a photo for reporting on each page, you have to take a picture for each page on one side of the spread, which is troublesome.
また、見開きページを撮影した１枚の画像を片側のページごとの画像となるように分割することが考えられるが、撮影時において撮影した画像が１枚のままなのか分割されたのかを確認するには、撮影済の画像の一覧を表示して画像を１枚１枚表示して確認しなければならず手間であった。 In addition, it is conceivable to divide a single image of a two-page spread image into images for each page on one side, but it is necessary to check whether the image is still a single image or divided at the time of shooting. In this case, it is troublesome to display a list of captured images and to display and check each image one by one.
本発明は、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a mechanism capable of easily adjusting the number of images to be stored according to shooting.
本発明は、撮影手段と、１つの用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御手段と、前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正をするとともに、複数の領域に分割して左側画像と右側画像とを生成するように処理する処理手段と、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する表示制御手段とを有し、前記表示制御手段は、前記撮影制御手段による前記撮影の際に、ライブビュー画像を表示する領域の左右の区切りを示す表示物を表示するように制御することを特徴とする。
The present invention comprises a photographing means, a photographing control means for acquiring one photographed image by photographing one paper as an object once, and a portion of the photographed image in which the paper is photographed so as to approximate a rectangle. processing means for correcting shape deformation and dividing into a plurality of regions to generate a left image and a right image; and the left image and the right image generated by the processing by the processing means. are displayed as different pages from each other, and the display control means displays the left and right partitions of the area where the live view image is displayed when the shooting is performed by the shooting control means It is characterized by controlling to display an object .
本発明によれば、撮影に応じて得られる画像の数を容易に調整可能な仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism capable of easily adjusting the number of images obtained according to photographing.
はじめに、本発明の課題と効果の詳細について説明する。 First, the details of the problems and effects of the present invention will be described.
例えば、撮影した画像を左右に分割することで、被写体となる調査票の見開き２ページが撮影された画像を、ページごとの画像とすることができると考えられる。画像の分割は、例えば既存の画像分割用の専用アプリケーションで対象の画像を選択し、分割処理を実行することで実現できる。 For example, by dividing the photographed image into left and right, it is conceivable that the photographed image of the two-page spread of the questionnaire serving as the subject can be used as an image for each page. Image division can be realized by, for example, selecting a target image using an existing dedicated application for image division and executing division processing.
一方、撮影した全ての画像について分割が必要とは限らない。例えば、表紙を撮影する場合は、最初から調査票の画像は表紙１ページ分しかないため分割は不要である。また、見開き２ページの片面（片側のページ）が白紙の場合、白紙ではないもう一方のページのみを撮影することが考えられる。この場合も、撮影されている調査票のページは最初から１ページ分のため画像の分割は不要である。 On the other hand, not all captured images need to be divided. For example, when photographing the cover, the image of the survey form is only for one page from the beginning, so division is unnecessary. Also, if one side (page on one side) of the double-page spread is blank, it is conceivable to photograph only the other non-blank page. In this case as well, since the first page of the survey form is the first page, division of the image is unnecessary.
特に撮影した画像が多い場合等、撮影した画像の中から複数枚に分割したい画像を探し出すのは手間である。 Especially when there are many captured images, it is troublesome to find an image to be divided into a plurality of images from the captured images.
よって、例えば撮影を実行する端末（本発明では携帯端末）において、撮影した画像をそのまま１枚の画像として記憶するモードと、例えば左右に分割して２枚の画像として記憶するモードを設け、撮影時に設定されていたモードが撮影した画像をそのまま１枚の画像として記憶するモードであれば、撮影した画像を１枚の画像として記憶し、撮影時に設定されていたモードが画像を左右に分割して２枚の画像として記憶するモードであれば画像を分割して記憶することが考えられる。 Therefore, for example, a terminal (portable terminal in the present invention) that executes photographing is provided with a mode in which a photographed image is stored as one image as it is, and a mode in which, for example, it is divided into left and right and stored as two images. If the mode set at the time is a mode that stores the captured image as a single image as is, the captured image is stored as a single image, and the mode that was set at the time of shooting divides the image into left and right. If the mode is to store the image as two images, the image may be divided and stored.
しかし、これらのモードを手動で切り替える（変更する）のは手間である。 However, it is troublesome to switch (change) these modes manually.
また、手動での切り替えの場合、モードの切り替えを忘れてしまうことが考えられる。モードの切り替えを忘れて撮影してしまった場合、本当は分割したかった画像が１枚の画像として記憶されてしまったり、反対に、本当は１枚の画像として記憶したかった画像が分割されてしまったりするという問題が生じる可能性がある。 Also, in the case of manual switching, it is conceivable that the mode switching may be forgotten. If you forget to switch modes and take a picture, the image that you really wanted to split may be stored as a single image, or conversely, an image you really wanted to store as a single image may be split. There can be a problem of getting stuck.
これに対し本発明においては、ユーザの、被写体をできるだけはっきりと、又は／及び、大きく撮影しようとする習慣を想定・加味した仕組みを提供する。 On the other hand, the present invention provides a mechanism that assumes and takes into account the user's habit of photographing an object as clearly and/or as large as possible.
例えば見開き２ページの画像、つまり横長の被写体の画像を撮影する際は、携帯端末を横向きに構えて撮影し、例えば表紙等１ページの画像、つまり縦長の被写体の画像を撮影する際は、携帯端末を縦向きに構えて撮影すると想定される。 For example, when shooting an image of a two-page spread, that is, an image of a horizontally long subject, hold the mobile terminal horizontally. It is assumed that the terminal is held vertically to shoot.
本発明においては、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。 In the present invention, it is possible to automatically switch between a mode in which a photographed image is stored as it is and a mode in which the photographed image is divided according to the orientation of the device.
つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。 In other words, it is possible to provide a mechanism capable of easily adjusting the number of images to be stored according to shooting.
また、一般的には、撮影した画像は永続記憶領域であるハードディスク等の外部メモリに自動で記憶される。撮影ミスをした場合は、同じ被写体を再撮影することがあるが、本発発明において一例として挙げている調査票の画像のように後に何かしらの業務に用いる画像の場合、同じページの画像の重複は、後の報告業務における業務進行の妨げ・遅れにつながることがある。 In general, captured images are automatically stored in an external memory such as a hard disk, which is a permanent storage area. In the case of a mistake in photographing, the same subject may be re-photographed, but in the case of an image that will be used later for some business, such as the image of the survey sheet given as an example in the present invention, the image of the same page will be duplicated. may hinder or delay the progress of subsequent reporting tasks.
例えば同じ被写体（調査票のページ）の画像を重複して送信対象として選択してしまい、報告先へ送信してしまうというミスの原因となる可能性がある。 For example, there is a possibility that an image of the same subject (questionnaire page) may be selected redundantly as a transmission target, causing a mistake such as transmission to the report destination.
そのため、撮影した画像を自動で外部メモリに記憶するのではなく、撮影後に撮影した画像をプレビュー表示する等してユーザに確認させ、報告業務において報告先に送信する画像として外部メモリに記憶するか確認・選択させ、送信対象として適切な画像を記憶装置に記憶させることが望ましい。 Therefore, instead of automatically storing the captured image in the external memory, is it possible to have the user check the captured image by previewing it after the capture, and store it in the external memory as an image to be sent to the reporting party in the reporting task? It is desirable to have the user confirm and select an image suitable for transmission and store it in the storage device.
しかし、一般に提供されている撮影画像のプレビュー表示機能では撮影直後に撮影した画像をそのまま（１枚だけ）表示画面に表示するため、画像を分割するモードで撮影された画像が本当に複数枚の画像として分割されて記憶されたのか確認することができない。 However, in the preview display function of the captured image that is generally provided, the captured image is displayed on the display screen as it is (only one image) immediately after shooting. It is not possible to confirm whether it was divided and stored as.
また、一般に提供されている撮影画像のプレビュー表示機能を使って、分割した画像のうち１枚（例えば左側のページの画像）を画面に表示した場合、ユーザは右側のページの画像を撮影されているか確認することができず、再撮影を行ってしまうことが考えられる。 In addition, when one of the divided images (for example, the left page image) is displayed on the screen using a generally provided photographed image preview display function, the user can see that the right page image is photographed. It is conceivable that re-shooting may be performed because it is not possible to confirm whether the image is correct.
つまり、撮影された画像が適切な画像の枚数となっているか確認することができない。 In other words, it cannot be confirmed whether the number of captured images is an appropriate number.
本発明においては、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。 In the present invention, it is possible to provide a mechanism for easily confirming that an image has been shot in a mode that divides the image after the image has been shot.
また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。 Also, it is possible to provide a mechanism for easily confirming that the image has been divided after the image is captured.
これにより、ユーザは画面に表示された画像を、その後利用する画像として記憶すべきか否かを容易に判断できるようになる。 This allows the user to easily determine whether or not the image displayed on the screen should be stored as an image to be used later.
つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。 In other words, it is possible to provide a mechanism capable of easily adjusting the number of images to be stored according to shooting.
以下、図面を参照して、本発明の実施の形態の一例について説明する。 An example of an embodiment of the present invention will be described below with reference to the drawings.
＜第１の実施形態＞
まず図１を参照して、本発明の第１の実施形態における、情報処理システムの構成の一例について説明する。
<First embodiment>
First, an example of the configuration of an information processing system according to the first embodiment of the present invention will be described with reference to FIG.
本発明の情報処理システムは、携帯端末１００と、サーバ２００が、ネットワーク１０１（例えばＷＡＮ＝ワイドエリアネットワーク）を介して通信可能に接続され構成されている。 The information processing system of the present invention is configured by connecting a mobile terminal 100 and a server 200 so as to be communicable via a network 101 (for example, WAN=Wide Area Network).
携帯端末１００は、調査票をカメラで撮影して記憶し、ネットワーク１０１を介してサーバ２００に送信する情報処理装置である。また、携帯端末１００はタッチパネルディスプレイを備える。 The mobile terminal 100 is an information processing device that captures a survey form with a camera, stores it, and transmits it to the server 200 via the network 101 . The mobile terminal 100 also includes a touch panel display.
サーバ２００は、携帯端末１００から送信された複数の画像を受信し、１つのＰＤＦファイルに変換して保存する。以上が図１の説明である。 The server 200 receives a plurality of images transmitted from the mobile terminal 100, converts them into one PDF file, and saves them. The above is the description of FIG.
次に図２を参照して、本発明の第１の実施形態における各種装置のハードウェア構成の一例について説明する。図２は、携帯端末１００、サーバ２００のハードウェア構成の一例を示す図である。 Next, with reference to FIG. 2, an example of the hardware configuration of various devices according to the first embodiment of the present invention will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the mobile terminal 100 and the server 200. As shown in FIG.
図２に示すように、情報処理装置では、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、および通信Ｉ／Ｆコントローラ２０８が接続される。
As shown in FIG. 2, the information processing apparatus includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
The
ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
A
入力コントローラ２０５は、キーボードや不図示のマウス等のポインティングデバイス、カメラ等の入力装置２０９からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
An
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 Also, the touch panel may be a touch panel, such as a multi-touch screen, capable of detecting positions touched by multiple fingers.
ビデオコントローラ２０６は、ディスプレイ装置２１０などの外部出力装置への表示を制御する。ディスプレイ装置は本体と一体になったノート型パソコンのディスプレイ装置も含まれるものとする。
なお、外部出力装置はディスプレイ装置に限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。例えば携帯端末１００は、タッチパネルディスプレイ装置を備える。 Note that the external output device is not limited to a display device, and may be a projector, for example. In addition, an input device is also provided for the device capable of receiving the above-described touch operation. For example, the mobile terminal 100 includes a touch panel display device.
なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
The
メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
A
通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。 A communication I/F controller 208 connects and communicates with an external device via a network, and executes communication control processing in the network. For example, communication using TCP/IP, telephone lines such as ISDN, and communication using 3G lines for mobile phones are possible.
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
２１２は加速度センサであり、例えば携帯端末１００の加速度を検出する。尚、加速度センサが外部装置として携帯端末１００等の装置に取り付けられている場合、例えば、加速度センサ２１２は入力コントローラと２０５通信することで検出した加速度の情報を携帯端末１００に伝達する
An
２１３は撮影装置であり、被写体の画像を撮影する。尚、撮影装置が外部装置として携帯端末１００等の装置に取り付けられている場合、例えば、撮影装置２１３は入力コントローラ２０５と通信することで検出した撮影した画像を携帯端末１００に出力する。以上が図２の説明である。
A photographing
次に図３を参照して、本発明の第１の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of functional configurations of various devices according to the first embodiment of the present invention will be described.
携帯端末１００には、３１１～３１７に示す機能を備える、画像記憶アプリケーションがインストールされている。
The mobile terminal 100 is installed with an image storage
撮影部３１１は、被写体を撮影することにより撮影画像を生成して取得する機能部である。向き判定部３１２は、携帯端末１００の向き（画面の向き）を判定数判定して特定する機能部である。
The photographing
モード設定部３１３は、向き判定部３１２により判定され、特定された向きに応じて、撮影された被写体の画像を１枚の画像として記憶・プレビュー表示するモードと、複数枚の画像として記憶・プレビュー表示するモードとを切り替えて設定する機能部である。
The
画面表示部３１４は、撮影画面やプレビュー表示画面を表示する機能部である。画像処理部３１５は、撮影した画像の形状補正や分割処理による分割後の画像の生成を行う機能部である。
A
記憶部３１６は、撮影された画像、補正後の画像を一時記憶領域に記憶したり、永続記憶領域に記憶したりする機能部である（記憶制御手段に該当）。送信部３１７は、送信対象とされた画像を送信先であるサーバ２００に送信する機能部である。
The
受信部３２１は、送信部３１７により送信された画像を受信する機能部である。文書ファイル生成部３２２は、受信した複数の画像ファイルを１つの文書にまとめる処理を行う機能部である。具体的には、１回の調査票の報告として送信されてきた複数の画像を、複数ページのＰＤＦ帳票（１つの文書ファイル）に変換する。
The receiving
記憶部３２３は、受信した画像を記憶し、前述した文書ファイルを調査結果のデータとして記憶する機能部である。以上が図３の説明である。
The
次に図４を参照して、本発明の第１の実施形態における、情報処理装置の向きに応じたモード設定処理の流れについて説明する。図４の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
Next, with reference to FIG. 4, the flow of mode setting processing according to the orientation of the information processing apparatus according to the first embodiment of the present invention will be described. Each process in FIG. 4 is executed by the
ステップＳ４０１で、携帯端末１００は、携帯端末１００に記憶されている撮影アプリケーションをユーザ操作に応じて起動し、撮影画面を表示する。 In step S401, the mobile terminal 100 activates the imaging application stored in the mobile terminal 100 according to the user's operation, and displays the imaging screen.
具体的には、画像記憶アプリケーションの起動後に表示される不図示のメニュー画面から、撮影画面の表示操作を受け付けたことに応じて撮影画面を表示する。また、画像記憶アプリケーションを終了するか、撮影画面の終了操作を受け付けることで、撮影画面の表示を終了する。 Specifically, the photographing screen is displayed in response to receiving a photographing screen display operation from a menu screen (not shown) that is displayed after the image storage application is activated. In addition, the display of the photographing screen is ended by terminating the image storage application or accepting an operation to end the photographing screen.
撮影画面の一例を図８の８００、図９の９００に示す。８００及び９００の詳細については後述する。 An example of the photographing screen is shown in 800 in FIG. 8 and 900 in FIG. Details of 800 and 900 will be described later.
以降、画像記憶アプリケーションは、ステップＳ４０３～Ｓ４０５の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、画面の向き（携帯端末１００の向き）を取得する都度実行する。 Thereafter, the image storage application acquires the orientation of the screen (orientation of the mobile terminal 100) during the processing of steps S403 to S405 from the display of the shooting screen of the image storage application until the display of the shooting screen ends. Execute each time.
携帯端末１００の向きの情報は、携帯端末１００の向きが変わる都度取得される。具体機には、画像記憶アプリケーションがＯＳに対して、携帯端末１００の向きが変化した場合には変化後（変更後）の向きを画像記憶アプリケーションに通知するよう指示・要求する。 Information on the orientation of the mobile terminal 100 is obtained each time the orientation of the mobile terminal 100 changes. Specifically, the image storage application instructs/requests the OS to notify the image storage application of the changed (changed) orientation when the orientation of the mobile terminal 100 is changed.
当該指示を受け付けたＯＳは、自機の向きが変化したと判定される都度、変化後の向きの情報を画像記憶アプリケーションに送信する。これを携帯端末１００が受信してステップＳ４０２で取得する。 The OS that has received the instruction transmits information on the orientation after the change to the image storage application each time it is determined that the orientation of the device has changed. The portable terminal 100 receives this and acquires it in step S402.
ＯＳは図１２の１２００に示すような加速度の値から自機がどの向きを向いているかを特定する機能を有している。 The OS has a function of identifying which direction the aircraft is facing from the acceleration value as indicated by 1200 in FIG.
１２１０は、加速度と携帯端末１００の向きの関係の一例である。Ｘ，Ｙ，Ｚの値は加速度センサにより計測され取得した加速度の値を示す。ＯＳは、例えば現在加速度センサによって計測されて取得されている値（Ｘ，Ｙ，Ｚ）と最も近い値の状態を現在の端末の向き（状態）と判断する。 1210 is an example of the relationship between the acceleration and the orientation of the mobile terminal 100 . The X, Y, and Z values indicate the acceleration values measured and acquired by the acceleration sensor. The OS determines the state of the value closest to the values (X, Y, Z) currently measured and acquired by the acceleration sensor, for example, as the current orientation (state) of the terminal.
実際の携帯端末１００の向き（状態）と加速度の値の関係の一例を図１３に示す。 FIG. 13 shows an example of the actual relationship between the orientation (state) of the mobile terminal 100 and the acceleration value.
ＯＳは、画像記憶アプリケーションからの指示に従って、携帯端末１００の画面の向きが変化する都度、変化後の向きを示す値を送信する。向きの値は図７の７１０に示す。具体的には、画面の向きが図１２の１２１０の縦状態に最も近い状態の場合に「Ｐｏｒｔｒａｉｔ」という値を返す。画面の向きが逆さ状態に最も近い状態の場合に「Ｕｐｓｉｄｅｄｏｗｎ」という値を返す。画面の向きが左横状態に最も近い状態の場合に「Ｌａｎｄｓｃａｐｅｌｅｆｔ」という値を返す。画面の向きが右横状態に最も近い状態の場合に「Ｌａｎｄｓｃａｐｅｒｉｇｈｔ」という値を返す。画像記憶アプリケーションは、ＯＳから送信された値を取得する。 The OS transmits a value indicating the changed orientation each time the orientation of the screen of the mobile terminal 100 changes according to an instruction from the image storage application. The orientation value is shown at 710 in FIG. Specifically, the value "Portrait" is returned when the orientation of the screen is closest to the vertical state of 1210 in FIG. A value of "Upsidedown" is returned when the orientation of the screen is closest to being upside down. A value of "Landscapeleft" is returned when the orientation of the screen is closest to left landscape. A value of "Landscaperight" is returned when the orientation of the screen is closest to the right landscape state. The image storage application gets the values sent from the OS.
ステップＳ４０３で、画像記憶アプリケーションは、取得した値に基づいて、画面が縦向きかと横向きか（縦長か横長か）を判定する。 In step S403, the image storage application determines whether the screen is vertical or horizontal (portrait or landscape) based on the acquired value.
具体的には、ＯＳから取得した値が「Ｐｏｒｔｒａｉｔ」又は「Ｕｐｓｉｄｅｄｏｗｎ」の場合に、画面が縦向きであると判定する。また、取得した値が「Ｌａｎｄｓｃａｐｅｌｅｆｔ」又は「Ｌａｎｄｓｃａｐｅｒｉｇｈｔ」の場合に、画面が横向きであると判定する。 Specifically, when the value obtained from the OS is "Portrait" or "Upsidedown", it is determined that the screen is in portrait orientation. Also, if the acquired value is "Landscapeleft" or "Landscaperight", it is determined that the screen is in landscape orientation.
画面が縦向きの場合、処理をステップＳ４０４に移行し、撮影モードを「Ａ４モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定７００（図７）の値を、Ａ４モードに設定変更する。モードの種類は図７に示すように「Ａ４モード」と「Ａ３モード」の２つがある。 If the screen is vertically oriented, the process proceeds to step S404 to set the shooting mode to "A4 mode". Specifically, the value of the mode setting 700 (FIG. 7) currently valid in the image storage application is changed to A4 mode. There are two types of modes, "A4 mode" and "A3 mode", as shown in FIG.
本実施形態の説明におけるＡ４モードとは、撮影した画像をそのままＲＡＭ２０３に記憶し、プレビュー表示するモードである。
The A4 mode in the description of the present embodiment is a mode in which a captured image is stored in the
画面が横向きの場合、処理をステップＳ４０５に移行し、撮影モードを「Ａ３モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定７００（図７）の値を、Ａ３モードに設定変更する。 If the screen is landscape orientation, the process proceeds to step S405 to set the shooting mode to "A3 mode". Specifically, the value of the mode setting 700 (FIG. 7) currently valid in the image storage application is changed to A3 mode.
本実施形態の説明におけるＡ３モードとは、撮影した画像をＲＡＭ２０３に記憶した後、左右に分割して複数枚の画像として再記憶し、複数枚の画像を１画面でプレビュー表示するモードである。以上が図４の説明である。
The A3 mode in the description of the present embodiment is a mode in which a photographed image is stored in the
次に図５を参照して、本発明の第１の実施形態における、モードに応じたガイド画像の表示処理の流れについて説明する。図５の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
Next, with reference to FIG. 5, the flow of display processing of the guide image according to the mode in the first embodiment of the present invention will be described. Each process in FIG. 5 is executed by the
画像記憶アプリケーションは、ステップＳ５０１からステップＳ５０５の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、撮影モードが変更される都度（画面の向きを取得する都度）実行する。 The image storage application performs the processing from step S501 to step S505 every time the shooting mode is changed (acquisition of screen orientation) after the shooting screen of the image storage application is displayed until the shooting screen is displayed. each time) execute.
ステップＳ５０１で、画像記憶アプリケーションは、図４のステップＳ４０４またはＳ４０５で設定、変更されたモード設定７００を参照する。 At step S501, the image storage application refers to the mode setting 700 set or changed at step S404 or S405 of FIG.
ステップＳ５０２で、現在設定中のモードがＡ４モードかＡ３モードか判定する。Ａ４モードが設定されている場合は処理をステップＳ５０５に移行し、Ａ３モードが設定されている場合は、処理をステップＳ５０３に移行する。 In step S502, it is determined whether the currently set mode is A4 mode or A3 mode. If the A4 mode is set, the process proceeds to step S505, and if the A3 mode is set, the process proceeds to step S503.
ステップＳ５０５で、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きなＡ４用紙の縦横比（縦：横＝√２：１）の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にＡ４縦の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する（ライブビューに重畳表示する）。 In step S505, the image storage application selects a rectangular size having the largest aspect ratio (height:width=√2:1) of A4 paper that can be arranged in the live view display area of the shooting screen. Calculation, determining the placement position in the display area of the live view, specifying the positions of the four corners if an A4 vertical rectangle is placed at the positions, and displaying the guide frame at the specified four corner positions. (superimposed on live view).
ライブビュー表示の機能は、一般的にコンパクトデジタルカメラやスマートフォン等に搭載されている機能である。具体的には、ディスプレイ装置に対して、例えば自機の備える撮影装置（カメラ／撮像装置）の撮影素子からの出力を、映像としてリアルタイムに映し出す機能である。 The live view display function is a function that is generally installed in compact digital cameras, smartphones, and the like. Specifically, it is a function of displaying, on a display device, in real time, as an image, an output from a photographing element of a photographing device (camera/imaging device) provided in the device itself.
Ａ４モードにおける撮影画面の一例を図８の８００に示す。８０５はライブビューの表示領域である。８０４はシャッターボタンである。 An example of a photographing screen in A4 mode is indicated by 800 in FIG. 805 is a live view display area. 804 is a shutter button.
８０１は、被写体である調査票である。８０２は、携帯端末１００において現在Ａ４モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン８０２は、現在設定されているモードがＡ３モードになれば、Ａ３モードを示す表示に切り替えて表示する（図９のアイコン９０２）。
A
８０３はガイド枠である。ガイド枠８０３の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｆｒａｍｅ．ｊｐｇ」がガイド枠８０３の画像である。
803 is a guide frame. The image of
ステップＳ５０３では、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きな横向きＡ３用紙の縦横比（縦：横＝１：√２）の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にＡ３横の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する（ライブビューに重畳表示する）。ガイド枠は、例えばガイド枠９０３である。
In step S503, the image storage application selects a rectangular size having the largest aspect ratio (height:width=1:√2) of landscape-oriented A3 paper that can be placed within the live view display area of the shooting screen. , determine the placement position in the live view display area, specify the four corner positions if an A3 horizontal rectangle is placed at that position, and display the guide frame at the specified four corner positions. (superimposed on live view). The guide frame is the
さらに、ステップＳ５０４で、ライブビューの表示領域の中央に、撮影後のＡ３見開きの補正画像を左右に分割する基準となるガイド線（区切り線）を重畳表示する。具体的には図９の９００に示すように、ガイド線９０６を表示する。
Further, in step S504, a guide line (partition line) serving as a reference for dividing the corrected image of the A3-page spread after photographing into left and right is superimposed and displayed in the center of the display area of the live view. Specifically, as indicated by 900 in FIG. 9, a
Ａ４の冊子を開いた際の（Ａ３見開きの）ノドの部分を当該ガイド線に合わせて調査票を撮影することで、適切に左右のページを分割できる画像を撮影することができる。以上が図５の説明である。 By aligning the gutter of the A4 booklet (A3 double-page spread) with the guide line and photographing the survey form, it is possible to photograph an image in which the left and right pages can be appropriately divided. The above is the description of FIG.
Ａ３モードにおける撮影画面の一例を図９の９００に示す。９０５はライブビューの表示領域である。９０４はシャッターボタンである。 An example of a photographing screen in A3 mode is shown in 900 in FIG. 905 is a live view display area. 904 is a shutter button.
９０１Ｌは、被写体である調査票のＡ３見開きの左側のページである。９０１Ｒは、被写体である調査票のＡ３見開きの右側のページである。 901L is the left page of the A3-page spread of the questionnaire, which is the subject. 901R is the right page of the A3-page spread of the questionnaire, which is the subject.
９０２は、携帯端末１００において現在Ａ３モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン９０２は、現在設定されているモードがＡ４モードになれば、Ａ４モードを示す表示に切り替えて表示する（図８のアイコン８０２）。
An
また、Ａ３モードのアイコン９０２の押下を受け付けた場合は、携帯端末１００の向きに関わらず、設定中のモードをＡ４モードに切り替える。
Further, when pressing of the
９０３はガイド枠である。ガイド枠９０３の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｆｒａｍｅ．ｊｐｇ」であり、ガイド枠８０３の画像と同じである。
903 is a guide frame. The image of
９０６はガイド線である。ガイド線９０６の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｌｉｎｅ．ｊｐｇ」がガイド線９０６の画像である。
906 is a guide line. An image of the
次に図６を参照して、本発明の第１の実施形態における、モードに応じた撮影画像の表示及び記憶処理の流れについて説明する。図６の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
Next, with reference to FIG. 6, the flow of processing for displaying and storing captured images according to the mode in the first embodiment of the present invention will be described. Each process in FIG. 6 is executed by the
ステップＳ６０１で、画像記憶アプリケーションは撮影操作を受け付ける。例えばシャッターボタンの押下操作を受ける。撮影操作を受け付けると、ステップＳ６０２で撮影を実行する。具体的には、画像記憶アプリケーションが、携帯端末１００が備える撮影装置に撮影実行を指示し、撮影装置が撮影を実行する。 In step S601, the image storage application accepts a shooting operation. For example, a pressing operation of a shutter button is received. When a photographing operation is accepted, photographing is executed in step S602. Specifically, the image storage application instructs the image capturing device provided in the mobile terminal 100 to perform image capturing, and the image capturing device performs image capturing.
ステップＳ６０３で、画像記憶アプリケーションは撮影装置から撮影された画像（撮影画像）を取得すると、一時記憶領域に保存する。 In step S603, when the image storage application acquires an image (captured image) captured by the imaging device, it stores it in a temporary storage area.
具体的には、ＲＡＭ２０３の上に撮影画像の一時記憶テーブルを生成し、当該テーブルに記憶する。例えば、ステップＳ６０３で画像を記憶した一時記憶テーブルの一例を図７の撮影画像記憶テーブル７３０に示す。
Specifically, a temporary storage table of captured images is generated on the
ステップＳ６０４で、画像記憶アプリケーションは、現在設定中のモードを参照する。具体的には、図７のモード設定７００の値を参照する。 In step S604, the image storage application refers to the mode currently being set. Specifically, the value of the mode setting 700 in FIG. 7 is referred to.
ステップＳ６０５で、画像記憶アプリケーションは、現在設定中のモードがＡ４モードかＡ３モードか判定する。Ａ４モードが設定されている場合は処理をステップＳ６１２に移行し、Ａ３モードが設定されている場合は、処理をステップＳ６０６に移行する。 In step S605, the image storage application determines whether the currently set mode is A4 mode or A3 mode. If the A4 mode is set, the process proceeds to step S612, and if the A3 mode is set, the process proceeds to step S606.
ステップＳ６１２で、画像記憶アプリケーションは、ステップＳ６０４で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、Ａ４縦の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。変形の様子を図１１の１１２０に示す。 In step S612, the image storage application acquires and corrects the image temporarily stored in step S604. Specifically, the vertices of the subject in the acquired image are recognized, and the shape of the image is modified so that the recognized vertices match the vertices of a rectangle representing the shape of A4 vertical paper. . The state of deformation is shown in 1120 in FIG.
例えば図１１の１１０２に示す被写体の頂点（補正対象の点）を、Ａ４縦のサイズの矩形（予め携帯端末１００の外部メモリに記憶されている矩形）の頂点に一致させるように、矢印１１０３に示すように画像を変形させ、当該被写体の画像を縦向きのＡ４用紙のサイズ・形状とする補正を行う。図１１の１１００では説明のため、ガイド枠の頂点１１０１を用いて図示している。補正の途中の例を１１１０に示す。
For example, an
実査には、外部メモリに記憶されているＡ４縦のサイズの矩形の各頂点に左上、右上、左下、右下を示す識別情報をそれぞれ付与する。また、トリミングした被写体の画像の各頂点にも左上、右上、左下、右下を示す識別情報をそれぞれ付与し、左上の頂点同士、右上の頂点同士、左下の頂点同士、右下の頂点同士が一致するように、被写体の画像を変形させることで、当該被写体の画像をＡ４用紙の縦横比（縦：横＝√２：１）に合うように形状変更する補正を行う。 For the actual inspection, identification information indicating upper left, upper right, lower left, and lower right is given to each vertex of a rectangle of A4 vertical size stored in the external memory. In addition, each vertex of the trimmed image of the subject is given identification information indicating the top left, top right, bottom left, and bottom right, respectively, and the top left vertices, the top right vertices, the bottom left vertices, and the bottom right vertices are By deforming the image of the subject so that it matches, correction is performed to change the shape of the image of the subject so that it matches the aspect ratio of A4 paper (height:width=√2:1).
その後、ＲＡＭ２０３等の一時記憶領域に、補正後の画像であって、プレビュー表示する画像を記憶する補正画像記憶テーブルを生成して、補正後の画像（補正画像）をそのまま（１枚の画像として）記憶する。補正後の画像をそのまま記憶した補正画像記憶テーブルの一例を図７の７４０Ａに示す。
After that, in a temporary storage area such as the
ステップＳ６１３で、画像記憶アプリケーションは、ステップＳ６１２で補正画像記憶テーブル７４０Ａに記憶された補正後の画像を、表示画面に１枚の画像としてプレビュー表示する。プレビュー表示の一例を図８の８１０に示す。 In step S613, the image storage application preview-displays the corrected image stored in the corrected image storage table 740A in step S612 as one image on the display screen. An example of the preview display is shown at 810 in FIG.
８１０は、Ａ４モードが設定されている状態で撮影された画像のプレビュー表示画面の一例である。８１１は補正後の画像である。
「決定」ボタン８１２は、画像８１１を永続記憶領域、例えば外部メモリ２１１に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ２００に送信する画像の候補として選択可能とする画像である。
A “determine”
「取り消し」ボタン８１３は、画像８１１を破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。
A “Cancel”
ステップＳ６０６では、画像記憶アプリケーションは、ステップＳ６０４で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、Ａ３横の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。補正の内容はＡ４縦の補正時と同じである。 In step S606, the image storage application acquires and corrects the image temporarily stored in step S604. Specifically, the vertices of the subject in the acquired image are recognized, and correction is performed by deforming the shape of the image so that the recognized vertices match the vertices of a rectangle representing the shape of A3 landscape paper. . The contents of the correction are the same as those for the A4 vertical size.
例えば図１１の１１２２に示す被写体の頂点（補正対象の点）を、Ａ３横のサイズの矩形（予め携帯端末１００の外部メモリに記憶されている矩形）の頂点に一致させるように、矢印１１２３に示すように画像を変形させ、当該被写体の画像を横向きのＡ３用紙のサイズ・形状とする補正を行う。図１１の１１２０では説明のため、ガイド枠の頂点１１２１を用いて図示している。
For example, an
その後、ステップＳ６０７で、画像記憶アプリケーションは、ステップＳ６０６で補正した画像を、左右に２等分に分割することで２枚の画像データを生成し、複数枚の画像として一時記憶領域に記憶する。 After that, in step S607, the image storage application divides the image corrected in step S606 into two halves horizontally to generate two pieces of image data, and stores them in the temporary storage area as a plurality of images.
具体的には、補正画像記憶テーブルをＲＡＭ２０３に生成し、補正後のＡ３横向きの画像を、縦向きのＡ４画像２枚として分割して、２枚の画像を当該補正画像記憶テーブルに記憶する。
Specifically, a corrected image storage table is generated in the
分割された複数枚の画像を記憶した補正画像記憶テーブルの一例を図７の補正画像記憶テーブル７４０Ｂに示す。「ｐｉｃｔｕｒｅ００１Ａ＿ｌｅｆｔ」が、補正後の調査票の画像の左側ページの画像として分割され生成、記憶された画像である。「ｐｉｃｔｕｒｅ００１Ａ＿ｒｉｇｈｔ」が、補正後の調査票の画像の右側ページの画像として分割され生成、記憶された画像である。 An example of a corrected image storage table storing a plurality of divided images is shown in corrected image storage table 740B in FIG. "picture001A_left" is an image divided, generated and stored as an image of the left page of the image of the survey form after correction. "picture001A_right" is an image divided, generated and stored as an image of the right page of the image of the survey form after correction.
ステップＳ６０８で、画像記憶アプリケーションは、ステップＳ６０７で分割し、補正画像記憶テーブル７４０Ｂに記憶された複数枚の補正後の画像を、表示画面に、分離させた状態で左右に並べてプレビュー表示する。プレビュー表示の一例を図９の９１０に示す。 In step S608, the image storage application divides in step S607 and previews the plurality of corrected images stored in the corrected image storage table 740B in a separated state side by side on the display screen. An example of the preview display is shown at 910 in FIG.
補正画像記憶テーブル７４０Ｂから取得した複数の画像の表示位置を、複数の画像が離れて（分離して）表示される位置（例えば図９の９１０における９１４Ｌ、９１４Ｒの位置）にそれぞれ決定し、決定した位置のそれぞれに表示対象の画像を配置して表示する。
The display positions of the plurality of images acquired from the correction image storage table 740B are determined to positions where the plurality of images are displayed separately (separately) (for example,
具体的には、基準線９１５Ｌ（破線）の中心点の位置９１４Ｌに左側の画像の左辺の中心点を合わせ、当該画像を、基準線９１６Ｌ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｌはライブビュー表示領域の左端から所定距離の位置に設定し、基準線９１６Ｌはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Specifically, the center point of the left side of the image on the left side is aligned with the position 914L of the center point of the
また、基準線９１５Ｒ（破線）の中心点の位置９１４Ｒに右側の画像の右辺の中心点を合わせ、当該画像を、基準線９１６Ｒ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｒはライブビュー表示領域の右端から所定距離の位置に設定し、基準線９１６Ｒはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Also, the center point of the right side of the image on the right side is aligned with the
９１０は、Ａ３モードが設定されている状態で撮影された画像を分割して表示しているプレビュー表示画面の一例である。９１１Ｌは、９０１Ｌに示す左ページの画像が補正された画像である。９１１Ｒは、９０１Ｒに示す右ページの画像が補正された画像である。
「決定」ボタン９１２は、画像９１１Ｌ及び９１１Ｒを永続記憶領域、例えば外部メモリ２１１に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ２００に送信する画像の候補として選択可能とする画像である。
A “determine”
「取り消し」ボタン９１３は、画像９１１Ｌ及び９１１Ｒを破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。
A “Cancel”
ステップＳ６０９で、画像記憶アプリケーションはユーザ操作を受け付け、ステップＳ６１０で、受け付けた操作がプレビュー表示されている画像（ステップＳ６０７又はＳ６１２で記憶された補正画像記憶テーブルの画像）の、外部メモリ２１１への記憶を確定する操作か、当該画像を破棄する操作か判定する（操作判定手段に該当）。
In step S609, the image storage application accepts the user operation, and in step S610, the image (the image of the corrected image storage table stored in step S607 or S612) in which the received operation is displayed as a preview is stored in the
例えば、プレビュー表示画面における「決定」ボタンの押下を受け付けた場合に、プレビュー表示されている画像の、外部メモリ２１１への記憶を確定する操作を受け付けたと判定する。
For example, when the pressing of the “determine” button on the preview display screen is accepted, it is determined that the operation of confirming the storage of the preview-displayed image in the
また、プレビュー表示画面における「取り消し」ボタンの押下を受け付けた場合に、プレビュー表示されている画像を破棄する操作を受け付けたと判定する。 Further, when the pressing of the “cancel” button on the preview display screen is accepted, it is determined that the operation of discarding the preview-displayed image has been accepted.
ステップＳ６０９で受け付けた操作が、プレビュー表示されている画像の、外部メモリ２１１への記憶を確定する操作であると判定された場合は、処理をステップＳ６１１に移行する。
If it is determined that the operation accepted in step S609 is the operation of confirming the storage of the preview-displayed image in the
ステップＳ６０９で受け付けた操作が、プレビュー表示されている画像の破棄の操作であると判定された場合に、プレビュー表示画面を終了して撮影画面を表示する。 If it is determined that the operation accepted in step S609 is the operation of discarding the image being previewed, the preview display screen is ended and the shooting screen is displayed.
ステップＳ６１１では、記憶を確定する操作がされた画像（「決定」ボタンの押下を受け付けた時点でプレビュー表示されていた画像）を、外部メモリ２１１に記憶する。具体的には、外部メモリ２１１に記憶されている画像記憶テーブル７５０（図７）に、当該画像を追加記憶する処理を行う。
In step S<b>611 , the image for which the operation for confirming the storage has been performed (the image that was previewed when the “OK” button was pressed) is stored in the
その後、プレビュー表示画面を終了して撮影画面を表示する。以上が図６の説明である。 After that, the preview display screen is ended and the photographing screen is displayed. The above is the description of FIG.
図１０を参照して、サーバ２００へ送信する画像の選択及び送信処理について説明する。 Selection and transmission processing of an image to be transmitted to the server 200 will be described with reference to FIG.
画像一覧表示画面１０００は、画像記憶テーブル７５０に記憶されている画像を１枚ずつ、一覧にして表示する画像一覧の表示画面である。
The image
画像記憶アプリケーションは、不図示のメニュー画面において、画像一覧表示画面１０００を表示する操作を受け付けることで、画像一覧表示画面１０００を表示画面に表示する。
The image storage application displays the image
画像記憶アプリケーションは、１００１に示す一覧表示部に、１０００に示すように画像一覧を、個別に選択可能に表示する。１００２は各画像の撮影日時である。
The image storage application displays a list of images as indicated by 1000 in a list display area indicated by 1001 so that they can be individually selected.
画像の選択操作を受け付けると、画像を選択状態にする。選択状態の画像は選択枠１００３を表示して識別可能とする。（選択受付手段に該当）
When an image selection operation is received, the image is put into a selected state. A
画像記憶アプリケーションは、「報告フォームへ移動」ボタン１００４の押下を受け付けると、選択状態の画像をサーバ２００への送信する対象画像として決定し、表示画面を報告フォーム画面１０１０に表示遷移させる。
When the image storage application accepts pressing of the “move to report form”
ページ数表示部１０１１には、送信する対象画像の枚数を表示する。
A page
画像記憶アプリケーションは、報告する（サーバ２００に画像を送信する）調査票の調査対象の薬剤名と、情報源（例えば調査票を回収した病院名）と、当該報告を識別するための任意の管理番号の入力を受け付ける。 The image storage application stores the name of the drug to be surveyed in the survey form to be reported (the image is transmitted to the server 200), the information source (for example, the name of the hospital that collected the survey form), and any management for identifying the report. Accept number input.
そして、「送信」ボタン１０１２の押下を受け付けることで、送信対象の画像と、報告フォーム画面１０１０で入力を受け付けた各情報を、報告情報として、サーバ２００に送信する。
Then, by accepting the pressing of the "Send"
サーバ２００のＣＰＵ２０１は、当該報告情報を受信し、そのなかの画像データを取得して、１つの文書ファイルに変換する。例えば、１０枚の画像を受信した場合、当該１０枚の画像を１０ページのＰＤＦファイルに変換して外部メモリに記憶する。以上が図１０の説明である。
The
以上説明したように、本発明によれば、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of easily adjusting the number of images to be stored according to shooting.
例えば、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。 For example, it is possible to automatically switch between a mode in which a photographed image is stored as it is and a mode in which the photographed image is divided according to the orientation of the device.
また、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。 Also, it is possible to provide a mechanism for easily confirming that the image has been shot in the mode for dividing the image after the image is shot.
また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。 Also, it is possible to provide a mechanism for easily confirming that the image has been divided after the image is captured.
これにより、ユーザは画面に表示された画像を、その後利用する（報告対象の画像としてサーバに送信すべき）画像として記憶すべきか否かを容易に判断できるようになる。 This allows the user to easily determine whether or not the image displayed on the screen should be stored as an image to be used later (to be transmitted to the server as an image to be reported).
なお、例えば外出中に、カフェのバーカウンター等のように横のスペースは十分だが奥行きが浅くＡ４用紙を縦におけない場所において、Ａ４用紙（調査票）が横向きに置かれて撮影されることが想定される。この場合ユーザは携帯端末１００を横向きに構えてＡ４の画像１ページ分の画像を撮影したいと想定される。よって、上述した実施形態では、携帯端末１００が横向きの状態であっても、Ａ３モードのアイコン９０２の押下を受け付けた場合には、モードをＡ４モードに設定変更することができるものとした。
For example, while you are out and about, the A4 paper (survey form) may be placed horizontally and photographed in a place such as a bar counter in a café where there is enough horizontal space but the depth is too shallow to place the A4 paper vertically. is assumed. In this case, it is assumed that the user wants to hold the mobile terminal 100 sideways and take an image of one page of A4 size. Therefore, in the above-described embodiment, even if the portable terminal 100 is in landscape orientation, the mode can be changed to the A4 mode when pressing of the
一方で、縦方向のスペースは十分にあり、横幅はＡ４用紙を横向きにおけるだけのスペースがある場所で、Ａ３見開きの調査票を、開いた状態でＡ３縦の向きで置いて撮影したいこともあると考えられる。この場合ユーザは携帯端末１００を縦向きに構えて撮影したいと想定される。つまり、端末が縦向きの場合であってもＡ３モードで撮影したいことがある可能性がある。よって、例えば、携帯端末１００が縦向きの状態であっても、Ａ４モードのアイコン８０２の押下を受け付けた場合には、モードをＡ３モードに設定変更するようにしてもよい。
On the other hand, there is enough space in the vertical direction, and the width is enough to hold an A4 sheet of paper in landscape orientation. it is conceivable that. In this case, it is assumed that the user wants to hold the mobile terminal 100 in portrait orientation and shoot. In other words, even if the terminal is oriented vertically, there is a possibility that the user may want to shoot in A3 mode. Therefore, for example, even if the portable terminal 100 is in portrait orientation, the mode may be changed to the A3 mode when pressing of the
＜第２の実施形態＞
次に図１４を参照して、本発明の第２の実施形態における、処理の流れについて説明する。
<Second embodiment>
Next, with reference to FIG. 14, the flow of processing in the second embodiment of the present invention will be described.
第１の実施形態においては、携帯端末の向きに応じて撮影した画像をそのまま記憶して表示するモードと、撮影された画像を複数枚の画像に分割して、分割されたことが分かるように表示するモードを切り替えるものとした。しかし、必ずしも端末の向きが変わる都度モードを変更したくないことがある。 In the first embodiment, there is a mode in which a captured image is stored and displayed as it is according to the orientation of the mobile terminal, and a mode in which a captured image is divided into a plurality of images so that the divided images can be recognized. The display mode is switched. However, you may not necessarily want to change the mode every time the orientation of the terminal changes.
例えばＡ３モードのアイコン９０２が押下されてモードをＡ４モードに変更した場合、それ以降は端末が横向きであっても、Ａ４モードで撮影・画像の記憶を継続したいことが考えられる。
For example, when the
Ａ４縦の調査票をわざわざ横向きに置いて撮影するということは、当該調査票を横向きにしか置けない場所で撮影していると考えられるためである。 This is because the fact that the survey form of A4 length is placed horizontally and photographed is considered to be taken in a place where the survey form can only be placed horizontally.
一方、第１の実施形態によれば、携帯端末１００の向きが変わる都度、向きに応じたモードに設定中のモードが変更される。そのため、携帯端末１００を手の中で持ち直したり、調査票の裏面も撮影しようと調査票を裏返したりするタイミング等で、携帯端末１００を横向きの状態から縦向きに傾けてしまい、その後撮影を継続しようと、再び携帯端末１００を横向きにした場合、モードがＡ３モードに切り替わってしまう。 On the other hand, according to the first embodiment, each time the orientation of the mobile terminal 100 changes, the mode being set is changed according to the orientation. Therefore, when the mobile terminal 100 is held again in the hand, or when the survey form is turned over to photograph the back side of the survey form, the mobile terminal 100 is tilted vertically from the horizontal position, and then the photographing is continued. However, if the portable terminal 100 is turned sideways again, the mode will be switched to the A3 mode.
第２の実施形態においては、モードを変更のタイミングを適切に決定する仕組みを提供する。 The second embodiment provides a mechanism for appropriately determining the timing of mode change.
図１４の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
Each process in FIG. 14 is executed by the
図１４の処理は、図４のステップＳ４０２の直後に開始する。 The processing in FIG. 14 starts immediately after step S402 in FIG.
ステップＳ１４０１で、画像記憶アプリケーションは、携帯端末１００が縦向きか横向きか判定する。当該判定処理は図４のステップＳ４０３の処理と同じである。 In step S1401, the image storage application determines whether mobile terminal 100 is oriented vertically or horizontally. The determination processing is the same as the processing in step S403 of FIG.
携帯端末１００が縦向きであると判定された場合は処理をステップＳ１４０２に移行し、横向きであると判定された場合は処理をステップＳ１４０３に移行する。 If it is determined that the mobile terminal 100 is oriented vertically, the process proceeds to step S1402, and if it is determined that the mobile terminal 100 is oriented horizontally, the process proceeds to step S1403.
ステップＳ１４０２では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にＡ３モードで撮影及び外部メモリ２１１への分割された画像の記憶がされているか判定する。
In step S1402, the image storage application determines whether shooting in A3 mode and storage of divided images in the
例えば、図６のステップＳ６１１で、補正後の画像を外部メモリ２１１に記憶した後、記憶した画像がＡ４モードで撮影された画像であればフラグ＝１を、Ａ３モードで撮影された画像であればフラグ＝２をＲＡＭ２０３に記憶し、撮影画面が終了してメニュー画面に戻った場合に当該フラグの値を０にするものとする。また、一度設定されたフラグは、メニュー画面に戻るまで変更しないものとする。
For example, after storing the corrected image in the
画像記憶アプリケーションは、当該フラグが１の場合はＡ４モードで撮影済（Ａ３モードで撮影済ではない）と判定し、当該フラグが２の場合はＡ３モードで撮影済と判定する。また、フラグが０の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。 If the flag is 1, the image storage application determines that the image has been shot in A4 mode (not shot in A3 mode), and if the flag is 2, it determines that the image has been shot in A3 mode. If the flag is 0, it is determined that no image has been captured since the date display transition from the menu screen to the shooting screen.
Ａ３モードで撮影済と判定された場合は、設定中のモードをＡ３モードからＡ４モードに変更せずに、Ａ３モードで撮影済でないと判定された場合は、処理を図４のステップＳ４０４に移行してモードをＡ４モードに変更する。 If it is determined that the image has been shot in the A3 mode, do not change the currently set mode from the A3 mode to the A4 mode. If it is determined that the image has not been shot in the A3 mode, the process proceeds to step S404 in FIG. to change the mode to A4 mode.
ステップＳ１４０３では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にＡ４モードで撮影及び外部メモリ２１１への分割された画像の記憶がされているか判定する。
In step S1403, the image storage application determines whether shooting in A4 mode and storage of divided images in the
例えば、前記フラグが１の場合はＡ４モードで撮影済と判定し、当該フラグが２の場合はＡ３モードで撮影済（Ａ４モードで撮影済ではない）と判定する。また、フラグが０の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。 For example, when the flag is 1, it is determined that the image has been shot in the A4 mode, and when the flag is 2, it is determined that the image has been shot in the A3 mode (not in the A4 mode). If the flag is 0, it is determined that no image has been captured since the date display transition from the menu screen to the shooting screen.
Ａ４モードで撮影済と判定された場合は、設定中のモードをＡ４モードからＡ３モードに変更しないことを決定し、モードを変更せずに、Ａ４モードで撮影済でないと判定された場合は、処理を図４のステップＳ４０５に移行してモードをＡ３モードに変更することを決定し、Ａ３モードに変更する。以上が第２の実施形態の説明である。 If it is determined that the image has been shot in A4 mode, it is determined not to change the currently set mode from A4 mode to A3 mode. The process proceeds to step S405 in FIG. 4 to decide to change the mode to the A3 mode, and the mode is changed to the A3 mode. The above is the description of the second embodiment.
第２の実施形態の発明によれば、モードを変更のタイミングを適切に決定する仕組みを提供することができる。 According to the invention of the second embodiment, it is possible to provide a mechanism for appropriately determining the timing of mode change.
＜第３の実施形態＞
次に図１５を参照して、本発明の第３の実施形態における、処理の流れについて説明する。
<Third Embodiment>
Next, with reference to FIG. 15, the flow of processing in the third embodiment of the present invention will be described.
第３の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか１枚記憶するかを適切に決定することができる仕組みを提供する。 In the third embodiment, an image of a subject is divided according to the relationship between the position of the subject and the reference position for division, even if the image is captured in a mode that divides the captured image into a plurality of images. To provide a mechanism capable of appropriately determining whether to store both or one sheet.
図１５の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態及び第２の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
Each process in FIG. 15 is executed by the
図１５の処理は、図６のステップＳ６０５でＡ３モードであると判定された直後に開始する。 The processing of FIG. 15 starts immediately after it is determined that the A3 mode is set in step S605 of FIG.
ステップＳ１５０１で、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている被写体の画像を読みだして被写体認識の処理を行い、被写体の頂点４点のライブビュー表示領域上の位置を特定する。そして、当該４点が、ライブビュー表示領域の左半分、又は右半分の領域内に収まるか判定する。つまり、画面の左右５０％以内の領域に被写体が収まっているか判定する。（被写体判定手段に該当） In step S1501, the image storage application reads the image of the subject stored in the captured image storage table 730, performs subject recognition processing, and specifies the positions of the four vertices of the subject on the live view display area. Then, it is determined whether the four points fit within the left half or right half of the live view display area. In other words, it is determined whether or not the subject is within 50% of the left and right sides of the screen. (corresponds to subject determination means)
収まっていない場合は処理を図６のステップＳ６０７に移行する。収まっている場合には処理をステップＳ１５０２に移行する。 If not, the process proceeds to step S607 in FIG. If it fits, the process moves to step S1502.
ステップＳ１５０２で、画像記憶アプリケーションは、当該被写体を検出した側（４つの頂点を検出した側）の画像を切り出して取得し、ＲＡＭ２０３等の一時記憶領域に記憶する。
In step S1502, the image storage application cuts out and acquires the image on the side where the subject is detected (the side where the four vertices are detected), and stores it in a temporary storage area such as the
ステップＳ１５０３で、画像記憶アプリケーションは、画像補正の補正先のサイズをＡ４縦のサイズ・形状の矩形に設定する。 In step S1503, the image storage application sets the size of the image to be corrected to a rectangle of A4 vertical size and shape.
そして、ステップＳ１５０４で、被写体を検出した側の画像（実際に撮影した画像の右半分又は左半分の画像）の中から認識した被写体（調査票）の画像を切り出し、当該被写体の画像の各頂点を、Ａ４縦の矩形の頂点に合わせるように変形させて台形補正を行う。 Then, in step S1504, an image of the recognized subject (questionnaire) is cut out from the image on the side where the subject is detected (image of the right half or left half of the image actually taken), and each vertex of the image of the subject is extracted. is deformed so as to match the vertices of a vertical A4 rectangle, and trapezoidal correction is performed.
ステップＳ１５０５で、画像記憶アプリケーションは、補正後の画像を一時記憶領域（補正画像記憶テーブル）に記憶し、当該記憶した１枚の画像の、プレビュー画面における表示位置を決定する。 In step S1505, the image storage application stores the corrected image in a temporary storage area (corrected image storage table), and determines the display position of the stored one image on the preview screen.
本実施形態においては、撮影された画像の被写体がライブビュー画面の左側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定して表示する。 In the present embodiment, when the subject of the captured image is contained in the left half of the live view screen, the display position of the image of the subject after correction is set to the left side of the preview display screen. is determined and displayed.
具体的には、基準線９１５Ｌ（破線）の中心点の位置９１４Ｌに画像の左辺の中心点を合わせ、当該画像を、基準線９１６Ｌ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｌはライブビュー表示領域の左端から所定距離の位置に設定し、基準線９１６Ｌはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Specifically, the center point of the left side of the image is aligned with the position 914L of the center point of the
撮影された画像の被写体がライブビュー画面の右側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。 When the subject of the photographed image is contained in the right half of the live view screen, the display position of the corrected image, which is the image of the subject, is determined to the right side of the preview display screen.
具体的には、基準線９１５Ｒ（破線）の中心点の位置９１４Ｒに画像の右辺の中心点を合わせ、当該画像を、基準線９１６Ｒ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｒはライブビュー表示領域の右端から所定距離の位置に設定し、基準線９１６Ｒはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Specifically, the center point of the right side of the image is aligned with the
ステップＳ１５０６で、画像記憶アプリケーションは、ステップＳ１５０５で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。 In step S1506, the image storage application arranges and displays the corrected subject image stored in the corrected image storage table at the position determined in step S1505.
なお、ステップＳ１５０５で決定された位置が画面左側の位置９１４Ｌを基準として基準線９１５Ｌと基準線９１６Ｌとの間の位置となる場合、画面右側の基準線９１５Ｒと基準線９１６Ｒとの間の位置には画像を表示しない。また、ステップＳ１５０５で決定された位置が画面右側の位置９１４Ｒを基準として基準線９１５ＬＲと基準線９１６Ｒとの間の位置となる場合、画面左側の基準線９１５Ｌと基準線９１６Ｌとの間の位置には画像を表示しない。以上が第３の実施形態の説明である。
Note that if the position determined in step S1505 is between the
以上説明したように、本発明の第３の実施形態によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか１枚記憶するかを適切に決定することができる。 As described above, according to the third embodiment of the present invention, even if an image is captured in a mode in which the captured image is divided into a plurality of images, the position of the subject and the reference position for division are the same. Depending on the relationship, it is possible to appropriately determine whether to store both divided images of the subject or to store one image.
例えば、調査票の表紙等Ａ４縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。 For example, when photographing an A4 portrait sheet such as the cover of a survey form, it is possible to reduce the trouble of holding the terminal vertically and photographing each time.
また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか１枚記憶しているか／記憶するかを強調してユーザに提示し、確認させることができる。 In addition, by displaying the subject image only on one side of the screen, even if the image was shot in a mode that splits the shot image into multiple images, the subject image can be divided and stored in both or one image. It is possible to present to the user emphatically whether or not it is memorized, so that the user can confirm it.
＜第４の実施形態＞
次に図１６を参照して、本発明の第４の実施形態における、処理の流れについて説明する。
<Fourth Embodiment>
Next, with reference to FIG. 16, the flow of processing in the fourth embodiment of the present invention will be described.
第４の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、１枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供する。 In the fourth embodiment, even an image captured in a mode that divides the captured image into a plurality of images is stored as a single image or stored as a plurality of images according to the shooting operation. Provide a mechanism that can easily decide whether to
図１６の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態、第２の実施形態、第３の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
Each process in FIG. 16 is executed by the
また、第４の実施形態においては、撮影操作は、シャッターボタンの押下と、ライブビュー表示領域の押下（タッチ）の２種類あるものとする。 In the fourth embodiment, it is assumed that there are two types of photographing operations: pressing the shutter button and pressing (touching) the live view display area.
画像記憶アプリケーションは、ステップＳ６０１で撮影操作を受け付けた場合に、当該撮影操作がシャッターボタンの押下操作か、ライブビュー表示領域の押下操作かを識別する識別情報をＲＡＭ２０３に記憶する。また、受け付けた操作がライブビュー表示領域の押下操作の場合には、押下された位置（ライブビュー表示領域上の位置）を記憶する。
When receiving a shooting operation in step S601, the image storage application stores, in the
図１６の処理は、図６のステップＳ６０３の直後に開始する。 The processing in FIG. 16 starts immediately after step S603 in FIG.
ステップＳ１６０１で、画像記憶アプリケーションは、ステップＳ６０１で受け付けた撮影のための操作が、シャッターボタンの押下か、ライブビュー表示領域の押下か判定する。 In step S1601, the image storage application determines whether the operation for shooting received in step S601 is pressing the shutter button or pressing the live view display area.
シャッターボタンの押下である場合は、処理を図６のステップＳ６０４に移行する。ライブビュー表示領域の押下である場合には、処理をステップＳ１６０２に移行する。 If the shutter button is pressed, the process proceeds to step S604 in FIG. If the live view display area has been pressed, the process proceeds to step S1602.
ステップＳ１６０２で、画像記憶アプリケーションは、撮影操作を受け付けた位置が、ライブビュー表示領域のガイド線上か、ガイド線上を除いた左半分の領域内か、ガイド線上を除いた右半分の領域内かを判定する。 In step S1602, the image storage application determines whether the position at which the shooting operation was received is on the guide line of the live view display area, within the left half area excluding the guide line, or within the right half area excluding the guide line. judge.
ガイド線上、つまり、ライブビュー表示領域の中央線上に対する撮影操作の場合は、処理をステップＳ６０４に移行する。 If the shooting operation is performed on the guide line, that is, on the center line of the live view display area, the process proceeds to step S604.
撮影操作を受け付けた位置が、ガイド線上を除いた左半分の領域内の場合には処理をステップＳ１６０７に、ガイド線上を除いた右半分の領域内の場合には処理をステップＳ１６０３に移行する。 If the position where the shooting operation is accepted is within the left half area excluding the guide line, the process proceeds to step S1607, and if it is within the right half area excluding the guide line, the process proceeds to step S1603.
ステップＳ１６０３で、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている画像を取得して左右に二等分し、右半分の画像を取得する。 In step S1603, the image storage application acquires the image stored in the captured image storage table 730, halves it horizontally, and acquires the right half of the image.
ステップＳ１６０４で、ステップＳ１６０３で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、Ａ４縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。 In step S1604, the image of the subject is cut out from the image acquired in step S1603, and the image is deformed and corrected so that the vertices of the image of the subject correspond to the vertices of a vertical A4 rectangle. Then, the corrected image is stored in the corrected image storage table.
一方、ステップＳ１６０７では、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている画像を取得して左右に二等分し、左半分の画像を取得する。 On the other hand, in step S1607, the image storage application obtains the image stored in the photographed image storage table 730, halves it horizontally, and obtains the left half of the image.
ステップＳ１６０８で、ステップＳ１６０７で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、Ａ４縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。 In step S1608, the image of the subject is cut out from the image acquired in step S1607, and the image is deformed and corrected so that each vertex of the image of the subject corresponds to the vertex of a vertical A4 rectangle. Then, the corrected image is stored in the corrected image storage table.
ステップＳ１６０５で、画像記憶アプリケーションは、補正後の画像のプレビュー画面における表示位置を決定する。 In step S1605, the image storage application determines the display position of the corrected image on the preview screen.
本実施形態においては、撮影操作の位置がライブビュー表示領域の左側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定する。 In this embodiment, when the position of the shooting operation is within the left side of the live view display area, the display position of the corrected image is determined to be the left side of the preview display screen.
撮影操作の位置がライブビュー表示領域の右側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。 If the position of the shooting operation is within the area on the right side of the live view display area, the display position of the image after correction is determined to be the position on the right side of the preview display screen.
ステップＳ１６０６で、画像記憶アプリケーションは、ステップＳ１５０５で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。 In step S1606, the image storage application arranges and displays the corrected subject image stored in the corrected image storage table at the position determined in step S1505.
なお、ステップＳ１６０５で決定された位置が画面左側の位置の場合、画面右側の位置には画像を表示しない。また、ステップＳ１６０５で決定された位置が画面右側の位置の場合、画面左側の位置には画像を表示しない。以上が第３の実施形態の説明である。以上が第４の実施形態の説明である。 Note that if the position determined in step S1605 is on the left side of the screen, no image is displayed on the right side of the screen. If the position determined in step S1605 is on the right side of the screen, no image is displayed on the left side of the screen. The above is the description of the third embodiment. The above is the description of the fourth embodiment.
第４の実施形態の発明によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、１枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供することができる。 According to the invention of the fourth embodiment, even an image shot in a mode for dividing the shot image into a plurality of images is stored as a single image or stored as a plurality of images according to the shooting operation. It is possible to provide a mechanism that can easily determine whether to store as an image.
例えば、調査票の表紙等Ａ４縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。 For example, when photographing an A4 portrait sheet such as the cover of a survey form, it is possible to reduce the trouble of holding the terminal vertically and photographing each time.
また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか１枚記憶しているか／記憶するかを強調してユーザに提示し、確認させることができる。 In addition, by displaying the subject image only on one side of the screen, even if the image was shot in a mode that splits the shot image into multiple images, the subject image can be divided and stored in both or one image. It is possible to present to the user emphatically whether or not it is memorized, so that the user can confirm it.
以上説明したように、本発明によれば、携帯端末において撮影された画像を適切に記憶するための仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism for appropriately storing an image captured by a mobile terminal.
上述した実施形態の説明においては、画像を受信したサーバ２００側で画像を文書ファイルに変換するものとしたが、例えばサーバ２００への送信対象の画像を１つの文書ファイルに変換する処理を携帯端末１００で行ってから、サーバ２００に送信するようにしてもよい。 In the description of the above embodiment, the image is converted into a document file on the side of the server 200 that receives the image. 100 and then transmitted to the server 200 .
また、上述した実施形態の説明においては、端末が縦向きの場合に撮影した画像をそのまま記憶するモードとし、端末が横向きの場合に撮影した画像を複数枚の画像として記憶するモードとし、当該モードに沿って画像を分割、記憶するものとしたが、モードの設定を設けずに、端末が横向きの場合に撮影した画像はそのまま記憶し、端末が横向きの場合に撮影した画像は複数枚の画像に分割して記憶、プレビュー表示するようにしてもよい。 Further, in the description of the above-described embodiments, a mode in which an image taken when the terminal is oriented vertically is stored as it is, and an image taken when the terminal is oriented horizontally is stored as a plurality of images. However, without setting the mode, images shot when the terminal is in landscape orientation are stored as they are, and images shot when the terminal is in landscape orientation are divided into multiple images. may be divided into 2 parts, stored, and previewed.
具体的には、図６のステップＳ６０３において、画像と撮影時の携帯端末１００の向き（例えば縦向き又は横向き）を記憶しておき、ステップＳ６０４で当該撮影時の携帯端末１００の向きの情報を参照して、ステップＳ６０５で撮影時の携帯端末１００の向きが縦向きだったか横向きだったかを判定する。縦向きだった場合には処理をステップＳ６１２に移行し、横向きだった場合には処理をステップＳ６０６に移行する。 Specifically, in step S603 of FIG. 6, the image and the orientation of the mobile terminal 100 at the time of shooting (for example, vertical or horizontal) are stored, and in step S604, the information on the orientation of the mobile terminal 100 at the time of shooting is stored. With reference to this, it is determined in step S605 whether the orientation of the portable terminal 100 at the time of photographing was vertical or horizontal. If the orientation is portrait, the process proceeds to step S612, and if the orientation is landscape, the process proceeds to step S606.
また、上述した実施形態においては、画像が分割されて複数枚記憶されたことをユーザに確認させるために、プレビュー表示画面９１０において複数枚の画像を最初から離して位置決定・表示するものとしたが、例えば最初は複数の画像が接している状態で表示し、その後複数枚の画像が離れるようにプレビュー表示画面９１０の各画像の位置まで移動させるようアニメーション表示をすることで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。また、複数枚の画像が接している状態で表示し、それぞれの画像の辺を赤線等の線で識別表示する（それぞれの画像の辺の位置に赤線の画像を重畳表示する）ことで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。
Further, in the above-described embodiment, in order to allow the user to confirm that the image has been divided and stored in multiple sheets, the multiple images are positioned and displayed separately from the beginning on the
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。また、上述した各実施形態は自由に組み合わせ可能である。 The present invention can also be embodied as, for example, a system, device, method, program, storage medium, etc. Specifically, it may be applied to a system composed of a plurality of devices. It may be applied to an apparatus consisting of one device. Moreover, each embodiment mentioned above can be combined freely.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 It should be noted that the present invention includes those that directly or remotely supply a software program that implements the functions of the above-described embodiments to a system or apparatus. The present invention also includes a case where the computer of the system or apparatus reads and executes the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, the program code itself installed in the computer to implement the functional processing of the present invention also implements the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－Ｒ）などもある。 Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, magneto-optical disks, MOs, CD-ROMs, CD-Rs, and CD-RWs. There are also magnetic tapes, non-volatile memory cards, ROMs, and DVDs (DVD-ROM, DVD-R).
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 Another method of supplying the program is to connect to a home page on the Internet using a browser on the client computer. It can also be supplied by downloading the computer program itself of the present invention or a compressed file including an automatic installation function from the home page to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It is also possible to divide the program code constituting the program of the present invention into a plurality of files and download each file from a different home page. In other words, the present invention also includes a WWW server that allows a plurality of users to download program files for implementing the functional processing of the present invention on a computer.
また、本発明のプログラムを暗号化してＣＤ－ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let Then, by using the downloaded key information, the encrypted program can be executed and installed in the computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Also, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, the OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. After that, based on the instruction of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the processing also realizes the functions of the above-described embodiments.
尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
It should be noted that the above-described embodiments merely show specific examples for carrying out the present invention, and the technical scope of the present invention should not be construed to be limited by these.
That is, the present invention can be embodied in various forms without departing from its technical concept or main features.
１００ 携帯端末
１０１ ネットワーク
２００ サーバ
100 mobile terminal 101 network 200 server
Claims (9)
１つの用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御手段と、
前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正をするとともに、複数の領域に分割して左側画像と右側画像とを生成するように処理する処理手段と、
前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する表示制御手段とを有し、
前記表示制御手段は、前記撮影制御手段による前記撮影の際に、ライブビュー画像を表示する領域の左右の区切りを示す表示物を表示するように制御すること
を特徴とする情報処理装置。 a means of photography;
a photographing control means for acquiring one photographed image by photographing one sheet as a subject;
a processing means for correcting the shape of the image so that the portion of the photographed image in which the paper is captured becomes closer to a rectangle, dividing the photographed image into a plurality of regions, and processing to generate a left image and a right image. ,
display control means for controlling to display the left image and the right image generated by the processing by the processing means as different pages ;
The display control means controls to display a display object indicating left and right partitions of an area in which a live view image is displayed when the photographing is performed by the photographing control means.
An information processing device characterized by:
前記特定の条件を満たさない場合には、前記処理手段は、前記左側画像と前記右側画像とを生成し、前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する
ことを特徴とする請求項１に記載の情報処理装置。 When a specific condition is satisfied, the processing means performs a correction process of deforming the shape of the image so that the portion of the photographed image on which the paper is captured becomes closer to a rectangle, and the display control means performs the processing means. Control to display the one image generated by the processing by as a single page,
If the specific condition is not satisfied, the processing means generates the left image and the right image, and the display control means controls the left image and the right image generated by the processing by the processing means. 2. The information processing apparatus according to claim 1 , wherein the control is performed so that .
前記特定の条件を満たさない場合には、前記処理手段は、前記左側画像と前記右側画像とを生成し、前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして取得するように制御する
ことを特徴とする請求項１または２のいずれか１項に記載の情報処理装置。 When a specific condition is satisfied, the processing means performs a correction process of deforming the shape of the image so that the portion of the photographed image on which the paper is captured becomes closer to a rectangle, and the display control means performs the processing means. Control to acquire the one image generated by the processing by as a single page,
If the specific condition is not satisfied, the processing means generates the left image and the right image, and the display control means controls the left image and the right image generated by the processing by the processing means. 3. The information processing apparatus according to claim 1 or 2 , wherein the control is performed such that the and are obtained as different pages.
前記特定の条件を満たさない場合には、前記処理手段は、前記左側画像と前記右側画像とを生成し、前記表示制御手段は、前記処理手段による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして出力するように制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 When a specific condition is satisfied, the processing means performs a correction process of deforming the shape of the image so that the portion of the photographed image on which the paper is captured becomes closer to a rectangle, and the display control means performs the processing means. Control to output the one image generated by the processing by as a single page,
If the specific condition is not satisfied, the processing means generates the left image and the right image, and the display control means controls the left image and the right image generated by the processing by the processing means. 4. The information processing apparatus according to any one of claims 1 to 3 , wherein control is performed so that , and are output as different pages.
前記特定の条件とは、前記取得手段で取得した画面の向きが縦長の画面であることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。 further comprising acquisition means for acquiring information indicating the orientation of the screen acquired by the imaging control means;
5. The information processing apparatus according to any one of claims 2 to 4 , wherein the specific condition is that the orientation of the screen obtained by the obtaining means is vertically long.
１つの用紙を被写体とした１回の撮影で１つの撮影画像を取得する撮影制御工程と、
前記撮影画像のうち前記用紙が写る部分を矩形に近づくように画像の形状を変形する補正をするとともに、複数の領域に分割して左側画像と右側画像とを生成するように処理する処理工程と、
前記処理工程による処理によって生成された前記左側画像と前記右側画像とを互いに異なるページとして表示するように制御する制御工程とを含み、
前記制御工程は、前記撮影制御工程による前記撮影の際に、ライブビュー画像を表示する領域の左右の区切りを示す表示物を表示するように制御すること
を特徴とする情報処理方法。 the shooting process,
a photographing control step of acquiring one photographed image by photographing one sheet as a subject;
a processing step of correcting the shape of the image so that the portion of the photographed image on which the paper is captured becomes closer to a rectangle, and dividing the photographed image into a plurality of regions to generate a left image and a right image; ,
a control step of controlling to display the left image and the right image generated by the processing in the processing step as different pages ;
In the control step, control is performed such that, when the photographing is performed by the photographing control step, a display object indicating left and right partitions of an area in which a live view image is displayed is displayed.
An information processing method characterized by:
A program for causing a computer to function as each means of the information processing apparatus according to any one of claims 1 to 7 .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022004946A JP7252501B2 (en) | 2020-11-11 | 2022-01-17 | Information processing device, information processing system, information processing method and program |
| JP2023045044A JP2023080117A (en) | 2022-01-17 | 2023-03-22 | Information processing apparatus, information processing system, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020187787A JP7032679B2 (en) | 2020-11-11 | 2020-11-11 | Information processing equipment, information processing system, information processing method and program |
| JP2022004946A JP7252501B2 (en) | 2020-11-11 | 2022-01-17 | Information processing device, information processing system, information processing method and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020187787A Division JP7032679B2 (en) | 2020-11-11 | 2020-11-11 | Information processing equipment, information processing system, information processing method and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023045044A Division JP2023080117A (en) | 2022-01-17 | 2023-03-22 | Information processing apparatus, information processing system, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022050634A JP2022050634A (en) | 2022-03-30 |
| JP7252501B2 true JP7252501B2 (en) | 2023-04-05 |
Family
ID=87575216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022004946A Active JP7252501B2 (en) | 2020-11-11 | 2022-01-17 | Information processing device, information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7252501B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011254366A (en) | 2010-06-03 | 2011-12-15 | Pfu Ltd | Overhead scanner apparatus, image acquisition method, and program |
| JP2014120962A (en) | 2012-12-18 | 2014-06-30 | Casio Comput Co Ltd | Information reading device and program |
| JP2014155073A (en) | 2013-02-08 | 2014-08-25 | Canon Inc | Image processing device, and image processing method |
-
2022
- 2022-01-17 JP JP2022004946A patent/JP7252501B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011254366A (en) | 2010-06-03 | 2011-12-15 | Pfu Ltd | Overhead scanner apparatus, image acquisition method, and program |
| JP2014120962A (en) | 2012-12-18 | 2014-06-30 | Casio Comput Co Ltd | Information reading device and program |
| JP2014155073A (en) | 2013-02-08 | 2014-08-25 | Canon Inc | Image processing device, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022050634A (en) | 2022-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100841281B1 (en) | Electronic conference system, electronic conference controller, information terminal device, and electronic conference support method | |
| JP6171764B2 (en) | Image processing system, portable terminal, server device, and program | |
| KR20140058403A (en) | Verification device for dispensing of pharmaceuticals | |
| US8094242B2 (en) | Object management apparatus, mobile terminal, and object management method | |
| JP4456617B2 (en) | Similarity analysis device, image display device, and image display program | |
| JP2008225862A (en) | System for picking-up construction photograph with electric blackboard and automatically preparing construction management ledger and program for use in the same | |
| CN109495669B (en) | Information processing apparatus and computer-readable medium storing program | |
| JP7252501B2 (en) | Information processing device, information processing system, information processing method and program | |
| JP6849911B2 (en) | Information processing equipment, information processing system, information processing method and program | |
| JP7032679B2 (en) | Information processing equipment, information processing system, information processing method and program | |
| JP2023080117A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP2016171454A (en) | Business loss compensation work support device and program | |
| JP6795763B2 (en) | Information processing equipment, information processing system, information processing method and program | |
| JP2019008636A (en) | Imaging System | |
| JP4460311B2 (en) | Medical chart creation device and program | |
| JP2004336466A (en) | Method for registering metadata | |
| JP2012220840A (en) | Image display device and image display method | |
| JP6097632B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JPH09322059A (en) | Image composing device and image pickup device | |
| JP6338733B2 (en) | Apparatus, control method therefor, program, and storage medium | |
| JP7436855B2 (en) | Information processing device, control method, program | |
| JP2019101674A (en) | Information processing device, control method therefor, and program | |
| JP7317528B2 (en) | Image processing device, image processing system and control method | |
| JP2019114977A (en) | Information processor, control method thereof and program, information processing system, control method thereof and program | |
| JP2013131811A (en) | Image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7252501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |