JP6849911B2 - Information processing equipment, information processing system, information processing method and program - Google Patents
Information processing equipment, information processing system, information processing method and program Download PDFInfo
- Publication number
- JP6849911B2 JP6849911B2 JP2017022622A JP2017022622A JP6849911B2 JP 6849911 B2 JP6849911 B2 JP 6849911B2 JP 2017022622 A JP2017022622 A JP 2017022622A JP 2017022622 A JP2017022622 A JP 2017022622A JP 6849911 B2 JP6849911 B2 JP 6849911B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- stored
- images
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method and a program.
製薬企業では、近年「薬の副作用」についての情報管理業務である製薬安全性情報管理業務（ＰＶ業務）が行われている。具体的には、製造販売後調査として製薬企業の医薬情報担当者（ＭＲ＝Ｍｅｄｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ／以下、ＭＲと記載する）が、当該製薬企業の提供している薬品の副作用や、当該薬品の使用によるものと疑われる感染症について調査する調査票を医師渡して記入してもらい、所定期間後に病院に出向いて回収する。 In recent years, pharmaceutical companies have been engaged in pharmaceutical safety information management business (PV business), which is information management business regarding "side effects of drugs". Specifically, as a post-marketing surveillance, a medical representative of a pharmaceutical company (MR = Medical Representative / hereinafter referred to as MR) depends on the side effects of the drug provided by the pharmaceutical company and the use of the drug. Give the doctor a questionnaire to investigate the suspected infectious disease, have him fill it out, and go to the hospital to collect it after a certain period of time.
そして、例えば病院近くのコンビニ等からＦＡＸで本社に当該調査票を送信し、本社から独立行政法人 医薬品医療機器総合機構（Ｐｄｍａ（登録商標））に対して当該データを送信・登録することでＰｄｍａへの薬の副作用・感染症報告を行っている。近くにＦＡＸできる端末がない場合は、一度営業所に戻って、営業所に設置されているＦＡＸ装置から調査票のデータを本社にＦＡＸ送信している。この調査・報告業務は、薬事法に従って行われる業務である。 Then, for example, the questionnaire is sent to the head office by fax from a convenience store near the hospital, and the data is transmitted and registered from the head office to the Pharmaceuticals and Medical Devices Agency (Pdma (registered trademark)), thereby causing Pdma. We are reporting side effects and infectious diseases of the drug. If there is no terminal that can be faxed nearby, the person returns to the sales office and faxes the survey form data to the head office from the fax device installed at the sales office. This investigation / reporting work is carried out in accordance with the Pharmaceutical Affairs Law.
一部の企業では、このＦＡＸ装置を探す手間を省くため、調査票をスマートデバイスで撮影して、撮影した写真を本社のサーバに送信するシステムを採用している。例えば特許文献１では、建造物の被害状況の調査票の情報を入力し、携帯電話で撮影した画像と共に、調査票のデータベースを備えるホストコンピュータに送信する技術が公開されている。
Some companies have adopted a system that takes a survey form with a smart device and sends the taken picture to the server at the head office in order to save the trouble of searching for this fax machine. For example,
調査票のサイズは一般にＡ４サイズであり、複数ページにわたることがある。ページ数が多い場合には、調査票をＡ３見開きの冊子として綴じて医師に渡すことが行われている。ページごとの報告用に写真を残したい場合は、見開きの片側ページごとに撮影を行わなければならず手間であった。 The size of the questionnaire is generally A4 size and may span multiple pages. When the number of pages is large, the questionnaire is bound as an A3 spread booklet and handed to the doctor. If you wanted to keep a photo for page-by-page reporting, you had to take a photo for each page of the spread, which was a hassle.
また、一般的な写真撮影機能では、撮影された写真がプレビュー表示され、そのまま外部メモリ等の永続記憶領域に記憶されてしまうため、例えば撮影の角度等が不適切だった場合等、撮影ミスをした場合は、同じ被写体を再撮影することになる。つまり、同じ被写体の画像が重複して記憶されることとなり、後の報告業務の対象とする画像に同じ被写体の画像が入り込んでしまう原因となる。 In addition, with a general photography function, the photograph taken is displayed as a preview and stored in a permanent storage area such as an external memory as it is. Therefore, for example, when the angle of photography is inappropriate, a photography error may occur. If you do, you will have to retake the same subject. That is, the images of the same subject are stored in duplicate, which causes the images of the same subject to be included in the images to be reported later.
調査票を使った報告業務のように社外の関係者との業務の場合、担当者個人の業務記録を残す業務等社内の業務と比べて正確性が求められる。よって、一般的な撮影機能を提供する通常の撮影モードの他に調査票撮影用の撮影モードを用意し、調査票用の撮影モードで撮影された画像は、ページごとの画像となるよう画像を例えば左右に分割してプレビュー表示し、本当に永続記憶領域に記憶するかユーザに確認、選択させることが考えられる。 In the case of work with external parties such as reporting work using survey forms, accuracy is required compared to work in-house such as work that keeps a work record of the person in charge. Therefore, in addition to the normal shooting mode that provides general shooting functions, a shooting mode for survey form shooting is prepared, and the image shot in the shooting mode for survey form is an image for each page. For example, it is conceivable to divide the image into left and right and display the preview, and let the user confirm and select whether or not the image is really stored in the permanent storage area.
しかし、調査票撮影用の撮影モードで撮影した画像を全て一律に分割すべきではない。例えば、Ａ４縦の冊子の表紙を撮影した画像を左右に分割してしまうと、表紙が真っ二つに割れた、報告に不適切な画像ができてしまうためである。 However, all images taken in the shooting mode for survey form shooting should not be divided uniformly. For example, if the photographed image of the cover of an A4 vertical booklet is divided into left and right, the cover is split in two, resulting in an image unsuitable for reporting.
本発明は、撮影する装置の向きに応じて、記憶する画像の数を決定可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of determining the number of images to be stored according to the orientation of the device for photographing.
本発明は、撮影手段を備える情報処理装置であって、撮影手段による撮影が、自機が縦向きの状態で行われたか横向きの状態で行われたかを判定する判定手段と、前記判定手段により自機が縦向きの状態で撮影されたと判定される画像を分割することなく１枚の画像として記憶し、前記判定手段により自機が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御手段と、を備えることを特徴とする。 The present invention is an information processing device including a photographing means, and the determination means for determining whether the photographing by the photographing means is performed in a vertical state or a horizontal state, and the determination means. The images determined to have been taken in the portrait orientation of the own machine are stored as one image without division, and a plurality of images determined to have been taken in the landscape orientation of the own machine by the determination means are stored. It is characterized by comprising a storage control means for controlling the image so as to divide the image and store the image.
本発明によれば、撮影する装置の向きに応じて、記憶する画像の数を決定可能な仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism capable of determining the number of images to be stored according to the orientation of the device for photographing.
以下、図面を参照して、本発明の実施の形態の一例について説明する。 Hereinafter, an example of the embodiment of the present invention will be described with reference to the drawings.
＜第１の実施形態＞
まず図１を参照して、本発明の第１の実施形態における、情報処理システムの構成の一例について説明する。
<First Embodiment>
First, an example of the configuration of the information processing system according to the first embodiment of the present invention will be described with reference to FIG.
本発明の情報処理システムは、携帯端末１００と、サーバ２００が、ネットワーク１０１（例えばＷＡＮ＝ワイドエリアネットワーク）を介して通信可能に接続され構成されている。 The information processing system of the present invention is configured by connecting a mobile terminal 100 and a server 200 so as to be able to communicate with each other via a network 101 (for example, WAN = wide area network).
携帯端末１００は、調査票をカメラで撮影して記憶し、ネットワーク１０１を介してサーバ２００又はサーバ３００に送信する情報処理装置である。例えば、報告業務で必要である調査票の画像をサーバ２００に送信し、それ以外の、例えば会議の様子やホワイトボードを撮影したような通常業務の画像をサーバ３００に送信する。また、携帯端末１００はタッチパネルディスプレイを備える。 The mobile terminal 100 is an information processing device that captures a survey form with a camera, stores it, and transmits it to the server 200 or the server 300 via the network 101. For example, an image of a questionnaire required for reporting work is transmitted to the server 200, and other images of normal work such as a meeting or a whiteboard are transmitted to the server 300. Further, the mobile terminal 100 includes a touch panel display.
サーバ２００は、例えば、調査票の管理を行うサーバである。サーバ２００は、携帯端末１００から送信された複数の画像を受信し、１つのＰＤＦファイルに変換して保存する。受信する画像は、例えば調査票の画像である。 The server 200 is, for example, a server that manages survey forms. The server 200 receives a plurality of images transmitted from the mobile terminal 100, converts them into one PDF file, and saves the images. The image to be received is, for example, an image of a survey form.
サーバ３００は、例えば、各担当者（ＭＲ）の通常業務の履歴を管理するためのサーバである。サーバ３００は、携帯端末１００から送信された画像を受信し、当該画像を記憶するためのフォルダを生成して、当該フォルダ内に受信した画像を記憶する。受信する画像は、例えば調査票以外の画像である。以上が図１の説明である。 The server 300 is, for example, a server for managing the history of normal work of each person in charge (MR). The server 300 receives the image transmitted from the mobile terminal 100, creates a folder for storing the image, and stores the received image in the folder. The image to be received is, for example, an image other than the questionnaire. The above is the description of FIG.
次に図２を参照して、本発明の第１の実施形態における各種装置のハードウェア構成の一例について説明する。図２は、携帯端末１００、サーバ２００のハードウェア構成の一例を示す図である。 Next, with reference to FIG. 2, an example of the hardware configuration of various devices according to the first embodiment of the present invention will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the mobile terminal 100 and the server 200.
図２に示すように、情報処理装置では、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、および通信Ｉ／Ｆコントローラ２０８が接続される。
As shown in FIG. 2, in the information processing apparatus, the CPU (Central Processing Unit) 201, the ROM (Read Only Memory) 202, the RAM (Random Access Memory) 203, the
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
The
ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
The
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
The
入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス、カメラ等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
The
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 Further, the touch panel may be a touch panel such as a multi-touch screen that can detect the position touched by a plurality of fingers.
ビデオコントローラ２０６は、ディスプレイ装置２１０などの外部出力装置への表示を制御する。ディスプレイ装置は本体と一体になったノート型パソコンのディスプレイ装置も含まれるものとする。
The
なお、外部出力装置はディスプレイ装置に限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。例えば携帯端末１００は、タッチパネルディスプレイ装置を備える。 The external output device is not limited to the display device, and may be, for example, a projector. Further, as for the device capable of accepting the above-mentioned touch operation, an input device is also provided. For example, the mobile terminal 100 includes a touch panel display device.
なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
The
メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
The
通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。
The communication I /
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
２１２は加速度センサであり、例えば携帯端末１００の加速度を検出する。尚、加速度センサが外部装置として携帯端末１００等の装置に取り付けられている場合、例えば、加速度センサ２１２は入力コントローラ２０５と通信することで検出した加速度の情報を携帯端末１００に伝達する
２１３は撮影装置であり、被写体の画像を撮影する。尚、撮影装置が外部装置として携帯端末１００等の装置に取り付けられている場合、例えば、撮影装置２１３は入力コントローラ２０５と通信することで検出した撮影した画像を携帯端末１００に出力する。以上が図２の説明である。
次に図３を参照して、本発明の第１の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of the functional configuration of various devices according to the first embodiment of the present invention will be described.
携帯端末１００には、３１１〜３１７に示す機能を備える、画像記憶アプリケーションがインストールされている。 An image storage application having the functions shown in 31 to 317 is installed in the mobile terminal 100.
撮影部３１１は、被写体を撮影することにより撮影画像を生成して取得する機能部である。向き判定部３１２は、携帯端末１００の向き（画面の向き）を判定数判定して特定する機能部である。
The
画面表示部３１３は、撮影画面やプレビュー表示画面を表示する機能部である。画像処理部３１４は、撮影した画像の形状補正や分割処理による分割後の画像の生成を行う機能部である。
The
記憶部３１５は、撮影された画像、補正後の画像を一時記憶領域に記憶したり、永続記憶領域に記憶したりする機能部である（記憶制御手段に該当）。
The
送信先特定部３１６は、通常モードで撮影された画像の送信先と、調査票撮影モードで撮影された画像の送信先を特定する機能部である。例えば通常モードで撮影された通常の業務記録の画像（会議やホワイトボード等の画像）の送信先として、サーバ３００を決定・特定する。調査票撮影モードで撮影された調査票の画像の送信先として、サーバ２００を決定・特定する（送信先決定手段に該当）。
The
送信部３１７は、送信対象とされた画像を送信先であるサーバ２００又はサーバ３００に送信する機能部である。
The
受信部３２１は、送信部３１７により送信された画像を受信する機能部である。文書ファイル生成部３２２は、受信した複数の画像ファイルを１つの文書にまとめる処理を行う機能部である。具体的には、１回の調査票の報告として送信されてきた複数の画像を、複数ページのＰＤＦ帳票（１つの文書ファイル）に変換する。
The receiving
記憶部３２３は、受信した画像を記憶し、前述した文書ファイルを調査結果のデータとして記憶する機能部である。
The
受信部３３１は、送信部３１７により送信された画像を受信する機能部である。フォルダ生成部３３２は、受信した画像ファイルを格納するフォルダを自機の外部メモリ内に生成する機能部である。フォルダ名は、例えば画像の送信元の携帯端末１００に対応するユーザ名＋日時とする。ユーザ名と携帯端末１００の対応関係は、サーバ３００に予め記憶されているものとする。
The receiving
記憶部３３３は、受信した画像を、フォルダ生成部３３２で生成したフォルダに記憶する機能部である。以上が図３の説明である。
The
次に図４を参照して、本発明の第１の実施形態における、ユーザ操作によるモード設定処理の流れについて説明する。図４の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
Next, with reference to FIG. 4, the flow of the mode setting process by the user operation in the first embodiment of the present invention will be described. Each process of FIG. 4 is executed by the
ステップＳ４０１で、携帯端末１００は、携帯端末１００に記憶されている撮影アプリケーションをユーザ操作に応じて起動し、撮影画面を表示する。 In step S401, the mobile terminal 100 activates the shooting application stored in the mobile terminal 100 in response to a user operation, and displays the shooting screen.
具体的には、画像記憶アプリケーションの起動後に表示される不図示のメニュー画面から、撮影画面の表示操作を受け付けたことに応じて撮影画面を表示する。また、画像記憶アプリケーションを終了するか、撮影画面の終了操作を受け付けることで、撮影画面の表示を終了する。 Specifically, the shooting screen is displayed in response to the reception of the shooting screen display operation from the menu screen (not shown) displayed after the image storage application is started. In addition, the display of the shooting screen is terminated by terminating the image storage application or accepting the termination operation of the shooting screen.
撮影画面の一例を図８の８００、図９の９００、図１７の１７００に示す。８００、９００及び１７００の詳細については後述する。 An example of the shooting screen is shown in 800 in FIG. 8, 900 in FIG. 9, and 1700 in FIG. Details of 800, 900 and 1700 will be described later.
ステップＳ４０２で、画像記憶アプリケーションはユーザ操作を受け付ける。そしてステップＳ４０３で、受け付けた操作が通常撮影モードへのモード変更操作か、調査票撮影モードへのモード変更操作かを判定する。 In step S402, the image storage application accepts a user operation. Then, in step S403, it is determined whether the accepted operation is a mode change operation to the normal shooting mode or a mode change operation to the survey form shooting mode.
通常撮影モードとは、撮影された画像を撮影後にそのままプレビュー表示し、ユーザ操作によることなく、自動で外部メモリ２１１に記憶するモードである。
The normal shooting mode is a mode in which the shot image is preview-displayed as it is after shooting and automatically stored in the
調査票撮影モードとは、撮影された画像を、撮影された時点の携帯端末１００の向きに応じて、そのままＲＡＭ２０３に記憶してプレビュー表示するのか、複数枚の画像に分割してＲＡＭ２０３に記憶して複数枚の画像に分割されたことがわかるようにプレビュー表示するかを切り替えるモードある。また、プレビュー表示画面において、表示されている画像を記憶する操作を受け付けることで、当該画像を外部メモリ２１１に記憶するモードである。
In the questionnaire shooting mode, the shot image is stored in the
各モードを示す識別情報は、予め携帯端末１００の外部メモリ２１１に記憶されている。
The identification information indicating each mode is stored in advance in the
なお、デフォルトでは調査票撮影モードが設定されているものとする。８００及び９００は、調査票撮影モードの撮影画面である。１７００は、通常撮影モードの撮影画面である。
By default, it is assumed that the survey form shooting mode is set.
ステップＳ４０１では、撮影画面の表示操作を受け付けた時点で設定されている（現在有効な）モードを外部メモリ２１１に記憶されているモード設定７００を参照して特定し、当該モードに応じた撮影画面を表示する。
In step S401, the mode (currently valid) set at the time of accepting the display operation of the shooting screen is specified by referring to the mode setting 700 stored in the
画像記憶アプリケーションは、図８のアイコン８０２、または図９のアイコン９０２（現在、調査票撮影モードが設定されていることを示すアイコン）の押下を受け付けた場合に、通常撮影モードへのモード変更操作がされたと判定する。
When the image storage application accepts the pressing of the
また、図１７のアイコン１７０１（現在、通常撮影モードが設定されていることを示すアイコン）の押下を受け付けた場合に、調査票撮影モードへのモード変更操作がされたと判定する。 Further, when the icon 1701 (icon indicating that the normal shooting mode is currently set) of FIG. 17 is accepted, it is determined that the mode change operation to the survey form shooting mode has been performed.
受け付けた操作が通常撮影モードへのモード変更操作である場合は処理をステップＳ４０４に移行して通常撮影モードを有効にすべく、モード設定７００を通常撮影モードに書き換える。つまり、モードを通常撮影モードに変更する。 If the accepted operation is a mode change operation to the normal shooting mode, the mode setting 700 is rewritten to the normal shooting mode in order to shift the process to step S404 and enable the normal shooting mode. That is, the mode is changed to the normal shooting mode.
受け付けた操作が調査票撮影モードへのモード変更操作である場合は処理をステップＳ４０５に移行して調査票撮影モードを有効にすべく、モード設定７００を調査票撮影モードに書き換える。つまり、モードを調査票撮影モードに変更する。以上が図４の説明である。 If the accepted operation is a mode change operation to the survey form shooting mode, the process proceeds to step S405 and the mode setting 700 is rewritten to the survey form shooting mode in order to enable the survey form shooting mode. That is, the mode is changed to the survey form shooting mode. The above is the description of FIG.
次に図５を参照して、本発明の第１の実施形態における、携帯端末の向きに応じたガイド画像の表示処理の流れについて説明する。図５の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
Next, with reference to FIG. 5, the flow of the guide image display processing according to the orientation of the mobile terminal in the first embodiment of the present invention will be described. Each process of FIG. 5 is executed by the
ステップＳ５００で、画像記憶アプリケーションは、携帯端末１００自身の（自機の）向きの情報を取得する。 In step S500, the image storage application acquires information on the orientation of the mobile terminal 100 itself (of its own device).
携帯端末１００の向きの情報は、携帯端末１００の向きが変わる都度取得される。具体機には、画像記憶アプリケーションがＯＳに対して、携帯端末１００の向きが変化した場合には変化後（変更後）の向きを画像記憶アプリケーションに通知するよう指示・要求する。 Information on the orientation of the mobile terminal 100 is acquired each time the orientation of the mobile terminal 100 changes. The specific machine instructs and requests the OS to notify the image storage application of the changed (changed) orientation when the orientation of the mobile terminal 100 changes.
当該指示を受け付けたＯＳは、自機の向きが変化したと判定される都度、変化後の向きの情報を画像記憶アプリケーションに送信する。これを携帯端末１００が受信してステップＳ４０２で取得する。 The OS that receives the instruction transmits information on the changed orientation to the image storage application each time it is determined that the orientation of the own machine has changed. This is received by the mobile terminal 100 and acquired in step S402.
ＯＳは図１２の１２００に示すような加速度の値から自機がどの向きを向いているかを特定する機能を有している。 The OS has a function of specifying in which direction the own machine is facing from the value of acceleration as shown in 1200 in FIG.
１２１０は、加速度と携帯端末１００の向きの関係の一例である。Ｘ，Ｙ，Ｚの値は加速度センサにより計測され取得した加速度の値を示す。ＯＳは、例えば現在加速度センサによって計測されて取得されている値（Ｘ，Ｙ，Ｚ）と最も近い値の状態を現在の端末の向き（状態）と判断する。
実際の携帯端末１００の向き（状態）と加速度の値の関係の一例を図１３に示す。 FIG. 13 shows an example of the relationship between the orientation (state) of the actual mobile terminal 100 and the value of the acceleration.
ＯＳは、画像記憶アプリケーションからの指示に従って、携帯端末１００の画面の向きが変化する都度、変化後の向きを示す値を送信する。向きの値は図７の７１０に示す。具体的には、画面の向きが図１２の１２１０の縦状態に最も近い状態の場合に「Ｐｏｒｔｒａｉｔ」という値を返す。画面の向きが逆さ状態に最も近い状態の場合に「Ｕｐｓｉｄｅｄｏｗｎ」という値を返す。画面の向きが左横状態に最も近い状態の場合に「Ｌａｎｄｓｃａｐｅｌｅｆｔ」という値を返す。画面の向きが右横状態に最も近い状態の場合に「Ｌａｎｄｓｃａｐｅｒｉｇｈｔ」という値を返す。画像記憶アプリケーションは、ＯＳから送信された値を取得する。そして、取得した向きの情報を、現在の自機の向きの情報としてＲＡＭ２０３に記憶して保持する。
The OS transmits a value indicating the orientation after the change each time the orientation of the screen of the mobile terminal 100 changes according to an instruction from the image storage application. The orientation values are shown in 710 of FIG. Specifically, when the orientation of the screen is the state closest to the vertical state of 1210 in FIG. 12, the value "Portrait" is returned. When the screen orientation is closest to the upside-down state, the value "Upsidown" is returned. When the orientation of the screen is closest to the left horizontal state, the value "Landscapeleft" is returned. When the orientation of the screen is closest to the right horizontal state, the value "Landscapelight" is returned. The image storage application acquires the value transmitted from the OS. Then, the acquired orientation information is stored and held in the
画像記憶アプリケーションは、ステップＳ５０２からステップＳ５０５の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、撮影モードが変更される都度（画面の向きを取得する都度）実行する。 The image storage application performs the processes from step S502 to step S505 each time the shooting mode is changed (acquires the orientation of the screen) from the display of the shooting screen of the image storage application to the end of the display of the shooting screen. Execute (every time).
ステップＳ５０１で、画像記憶アプリケーションは、モード設定７００を参照して、現在設定中のモードが通常撮影モードか調査票撮影モードか判定する。 In step S501, the image storage application refers to the mode setting 700 and determines whether the currently set mode is the normal shooting mode or the survey form shooting mode.
通常撮影モードが設定されている場合は処理を終了し、調査票撮影モードが設定されている場合は、処理をステップＳ５０２に移行する。 If the normal shooting mode is set, the process ends, and if the survey form shooting mode is set, the process proceeds to step S502.
ステップＳ５０２で、画像記憶アプリケーションは、自機の現在の向きが縦向きか横向きか判定する。縦向きの場合は処理をステップＳ５０５に移行する。横向きの場合は処理をステップＳ５０３に移行する。 In step S502, the image storage application determines whether the current orientation of the own machine is portrait orientation or landscape orientation. In the case of portrait orientation, the process proceeds to step S505. In the case of landscape orientation, the process proceeds to step S503.
具体的には、ＯＳから取得したてＲＡＭ２０３に記憶されている現在の自機の向きの情報が「Ｐｏｒｔｒａｉｔ」又は「Ｕｐｓｉｄｅｄｏｗｎ」の場合に、携帯端末１００の画面（携帯端末１００）が縦向きであると判定する。また、取得した値が「Ｌａｎｄｓｃａｐｅｌｅｆｔ」又は「Ｌａｎｄｓｃａｐｅｒｉｇｈｔ」の場合に、画面が横向きであると判定する。
Specifically, when the current orientation information of the own machine acquired from the OS and stored in the
ステップＳ５０５で、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きなＡ４用紙の縦横比（縦：横＝√２：１）の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にＡ４縦の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する（ライブビューに重畳表示する）。 In step S505, the image storage application determines the rectangular size of the largest A4 paper aspect ratio (vertical: horizontal = √2: 1) that can be arranged in the live view display area with respect to the live view display area of the shooting screen. Calculate, determine the placement position in the display area of the live view, specify the positions of the four corners when an A4 vertical rectangle is placed at that position, and display the guide frame at the specified four corner positions. (Overlaid on live view).
ライブビュー表示の機能は、一般的にコンパクトデジタルカメラやスマートフォン等に搭載されている機能である。具体的には、ディスプレイ装置に対して、例えば自機の備える撮影装置（カメラ／撮像装置）の撮影素子からの出力を、映像としてリアルタイムに映し出す機能である。 The live view display function is generally installed in compact digital cameras, smartphones, and the like. Specifically, it is a function of displaying the output from the photographing element of the photographing device (camera / imaging device) provided in the own device on the display device in real time as an image.
縦向きの状態における撮影画面の一例を図８の８００に示す。８０５はライブビューの表示領域である。８０４はシャッターボタンである。 An example of the shooting screen in the portrait orientation is shown in FIG. 800. 805 is a display area of the live view. 804 is a shutter button.
８０１は、被写体である調査票である。８０２は、携帯端末１００において現在は調査票撮影モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン８０２は、現在設定されているモードが通常撮影モードになれば、通常撮影モードを示す表示に切り替えて表示する（図１７のアイコン１７０１）。
801 is a survey form that is the subject.
また、アイコン８０２の押下を受け付けた場合は、設定中のモードを通常撮影モードに切り替える。
When the
８０３はガイド枠である。ガイド枠８０３の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｆｒａｍｅ．ｊｐｇ」がガイド枠８０３の画像である。
ステップＳ５０３では、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きな横向きＡ３用紙の縦横比（縦：横＝１：√２）の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にＡ３横の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する（ライブビューに重畳表示する）。ガイド枠は、例えばガイド枠９０３である。
In step S503, the image storage application has a rectangular size of the largest landscape A3 paper aspect ratio (vertical: horizontal = 1: √2) that can be placed in the live view display area with respect to the live view display area of the shooting screen. Is calculated, the placement position in the display area of the live view is determined, the positions of the four corners when the A3 horizontal rectangle is placed at the position are specified, and the guide frame is displayed at the specified four corner positions. (Superimpose on live view). The guide frame is, for example, a
さらに、ステップＳ５０４で、ライブビューの表示領域の中央に、撮影後のＡ３見開きの補正画像を左右に分割する基準となるガイド線（区切り線）を重畳表示する。具体的には図９の９００に示すように、ガイド線９０６を表示する。
Further, in step S504, a guide line (separator line) as a reference for dividing the corrected image of the A3 spread after shooting into left and right is superimposed and displayed in the center of the display area of the live view. Specifically, as shown in 900 of FIG. 9, the
Ａ４の冊子を開いた際の（Ａ３見開きの）ノドの部分を当該ガイド線に合わせて調査票を撮影することで、適切に左右のページを分割できる画像を撮影することができる。以上が図５の説明である。 By aligning the throat portion (A3 spread) when the A4 booklet is opened with the guide line and taking a survey form, it is possible to take an image in which the left and right pages can be appropriately divided. The above is the description of FIG.
横向きの状態における撮影画面の一例を図９の９００に示す。９０５はライブビューの表示領域である。９０４はシャッターボタンである。
An example of the shooting screen in the landscape orientation is shown in 900 of FIG.
９０１Ｌは、被写体である調査票のＡ３見開きの左側のページである。９０１Ｒは、被写体である調査票のＡ３見開きの右側のページである。 901L is the page on the left side of the A3 spread of the survey form, which is the subject. 901R is the page on the right side of the A3 spread of the survey form, which is the subject.
９０２は、携帯端末１００において現在は調査票撮影モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン９０２は、現在設定されているモードが通常撮影モードになれば、通常撮影モードを示す表示に切り替えて表示する（図１７のアイコン１７０１）。
また、アイコン９０２の押下を受け付けた場合は、設定中のモードを通常撮影モードに切り替える。
When the
９０３はガイド枠である。ガイド枠９０３の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｆｒａｍｅ．ｊｐｇ」であり、ガイド枠８０３の画像と同じである。
９０６はガイド線である。ガイド線９０６の画像は予め携帯端末１００の外部メモリ２１１に記憶されている。例えば図７のガイド画像７２０における「ｇｕｉｄｅ＿ｌｉｎｅ．ｊｐｇ」がガイド線９０６の画像である。
906 is a guide line. The image of the
次に図６を参照して、本発明の第１の実施形態における、携帯端末の向きに応じた撮影画像の表示及び記憶処理の流れについて説明する。図６の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
Next, with reference to FIG. 6, the flow of the display and storage processing of the captured image according to the orientation of the mobile terminal in the first embodiment of the present invention will be described. Each process of FIG. 6 is executed by the
ステップＳ６００で、画像記憶アプリケーションは撮影操作を受け付ける。例えばシャッターボタンの押下操作を受ける。撮影操作を受け付けると、ステップＳ６０１で撮影を実行する。具体的には、画像記憶アプリケーションが、携帯端末１００が備える撮影装置に撮影実行を指示し、撮影装置が撮影を実行する。 In step S600, the image storage application accepts a shooting operation. For example, the shutter button is pressed. When the shooting operation is accepted, shooting is executed in step S601. Specifically, the image storage application instructs the photographing device included in the mobile terminal 100 to execute shooting, and the photographing device executes shooting.
ステップＳ６０２で、画像記憶アプリケーションは撮影装置から撮影された画像（撮影画像）を取得すると、一時記憶領域に保存する。また、当該画像と対応付けて、当該画像が撮影された時点における自機の向きの情報を対応付けて記憶する。また、当該画像と対応付けて、当該画像が通常モードで撮影された画像か、調査票撮影モードで撮影された画像かを識別する識別情報を記憶する In step S602, when the image storage application acquires an image (captured image) taken from the photographing device, it stores it in the temporary storage area. Further, in association with the image, information on the orientation of the own machine at the time when the image is taken is associated and stored. In addition, in association with the image, identification information for identifying whether the image is an image taken in the normal mode or an image taken in the survey form shooting mode is stored.
具体的には、ＲＡＭ２０３の上に撮影画像の一時記憶テーブルを生成し、当該テーブルに記憶する。例えば、ステップＳ６０２で画像を記憶した一時記憶テーブルの一例を図７の撮影画像記憶テーブル７３０に示す。
Specifically, a temporary storage table for captured images is generated on the
ステップＳ６０３で、画像記憶アプリケーションは、現在設定中のモードを参照する。具体的には、図７のモード設定７００の値を参照する。 In step S603, the image storage application refers to the mode currently being set. Specifically, the value of the mode setting 700 in FIG. 7 is referred to.
ステップＳ６０４で、画像記憶アプリケーションは、現在設定中のモードが通常撮影モードか調査票撮影モードか判定する。通常モードが設定されている場合は処理をステップＳ６１４に移行し、調査票撮影モードが設定されている場合は、処理をステップＳ６０５に移行する。 In step S604, the image storage application determines whether the currently set mode is the normal shooting mode or the survey form shooting mode. When the normal mode is set, the process proceeds to step S614, and when the questionnaire shooting mode is set, the process proceeds to step S605.
ステップＳ６０５で、画像記憶アプリケーションは、当該画像が、自機が縦の状態で撮影された縦の画像か、自機が横向きの状態で撮影された横の画像かを判定する。自機が縦の状態で撮影された縦の画像である場合は処理をステップＳ６１２に移行し、自機が横向きの状態で撮影された横の画像である場合には処理をステップ６０６に移行する。 In step S605, the image storage application determines whether the image is a vertical image taken in a vertical state of the own machine or a horizontal image taken in a horizontal state of the own machine. If the own machine is a vertical image taken in the vertical state, the process shifts to step S612, and if the own machine is a horizontal image taken in the horizontal state, the process shifts to step 606. ..
ステップＳ６１２で、画像記憶アプリケーションは、ステップＳ６０４で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、Ａ４縦の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。変形の様子を図１１の１１２０に示す。 In step S612, the image storage application acquires and corrects the image temporarily stored in step S604. Specifically, the vertices of the subject in the acquired image are recognized, and the shape of the image is deformed so that the recognized vertices match the vertices of the rectangle indicating the shape of the A4 vertical paper. .. The state of deformation is shown in 1120 of FIG.
例えば図１１の１１０２に示す被写体の頂点（補正対象の点）を、A４縦のサイズの矩形（予め携帯端末１００の外部メモリに記憶されている矩形）の頂点に一致させるように、矢印１１０３に示すように画像を変形させ、当該被写体の画像を縦向きのＡ４用紙のサイズ・形状とする補正を行う。図１１の１１００では説明のため、ガイド枠の頂点１１０１を用いて図示している。補正の途中の例を１１１０に示す。 For example, the arrow 1103 is indicated so that the apex of the subject (point to be corrected) shown in 1102 of FIG. 11 matches the apex of a rectangle having an A4 vertical size (a rectangle stored in the external memory of the mobile terminal 100 in advance). As shown, the image is deformed, and the image of the subject is corrected to have the size and shape of the vertically oriented A4 paper. In 1100 of FIG. 11, for the sake of explanation, the apex 1101 of the guide frame is used for illustration. An example in the middle of correction is shown in 1110.
実査には、外部メモリに記憶されているＡ４縦のサイズの矩形の各頂点に左上、右上、左下、右下を示す識別情報をそれぞれ付与する。また、トリミングした被写体の画像の各頂点にも左上、右上、左下、右下を示す識別情報をそれぞれ付与し、左上の頂点同士、右上の頂点同士、左下の頂点同士、右下の頂点同士が一致するように、被写体の画像を変形させることで、当該被写体の画像をＡ４用紙の縦横比（縦：横＝√２：１）に合うように形状変更する補正を行う。 In the actual inspection, identification information indicating upper left, upper right, lower left, and lower right is added to each vertex of the A4 vertical size rectangle stored in the external memory. In addition, identification information indicating the upper left, upper right, lower left, and lower right is also given to each vertex of the cropped subject image, and the upper left vertices, the upper right vertices, the lower left vertices, and the lower right vertices are assigned to each other. By deforming the image of the subject so as to match, the correction is performed to change the shape of the image of the subject so as to match the aspect ratio (vertical: horizontal = √2: 1) of the A4 paper.
その後、ＲＡＭ２０３等の一時記憶領域に、補正後の画像であって、プレビュー表示する画像を記憶する補正画像記憶テーブルを生成して、補正後の画像（補正画像）をそのまま（１枚の画像として）記憶する。補正後の画像をそのまま記憶した補正画像記憶テーブルの一例を図７の７４０Ａに示す。
After that, a corrected image storage table that stores the corrected image and the image to be previewed is generated in a temporary storage area such as
ステップＳ６１３で、画像記憶アプリケーションは、ステップＳ６１２で補正画像記憶テーブル７４０Ａに記憶された補正後の画像を、表示画面に１枚の画像としてプレビュー表示する。プレビュー表示の一例を図８の８１０に示す。 In step S613, the image storage application previews the corrected image stored in the corrected image storage table 740A in step S612 as one image on the display screen. An example of the preview display is shown in 810 of FIG.
８１０は、携帯端末１００が縦向きの状態で撮影された画像のプレビュー表示画面の一例である。８１１は補正後の画像である。
「決定」ボタン８１２は、画像８１１を永続記憶領域、例えば外部メモリ２１１に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ２００に送信する画像の候補として選択可能とする画像である。
The “decision”
「取り消し」ボタン８１３は、画像８１１を破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。
The "Cancel"
ステップＳ６０６では、画像記憶アプリケーションは、ステップＳ６０４で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、Ａ３横の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。補正の内容はＡ４縦の補正時と同じである。 In step S606, the image storage application acquires and corrects the image temporarily stored in step S604. Specifically, the vertices of the subject in the acquired image are recognized, and the shape of the image is deformed so that the recognized vertices match the vertices of the rectangle indicating the shape of the A3 horizontal paper. .. The content of the correction is the same as that at the time of A4 vertical correction.
例えば図１１の１１２２に示す被写体の頂点（補正対象の点）を、A３横のサイズの矩形（予め携帯端末１００の外部メモリに記憶されている矩形）の頂点に一致させるように、矢印１１２３に示すように画像を変形させ、当該被写体の画像を横向きのＡ３用紙のサイズ・形状とする補正を行う。図１１の１１２０では説明のため、ガイド枠の頂点１１２１を用いて図示している。
For example, the arrow 1123 is indicated so that the apex of the subject (point to be corrected) shown in 1122 of FIG. 11 matches the apex of a rectangle having a size horizontal to A3 (a rectangle stored in the external memory of the mobile terminal 100 in advance). As shown, the image is deformed, and the image of the subject is corrected to have the size and shape of the landscape A3 paper. In 1120 of FIG. 11, for the sake of explanation, the
その後、ステップＳ６０７で、画像記憶アプリケーションは、ステップＳ６０６で補正した画像を、左右に２等分に分割することで２枚の画像データを生成し、複数枚の画像として一時記憶領域に記憶する。 After that, in step S607, the image storage application generates two image data by dividing the image corrected in step S606 into two equal parts on the left and right, and stores the images as a plurality of images in the temporary storage area.
具体的には、補正画像記憶テーブルをＲＡＭ２０３に生成し、補正後のＡ３横向きの画像を、縦向きのＡ４画像２枚として分割して、２枚の画像を当該補正画像記憶テーブルに記憶する。
Specifically, a corrected image storage table is generated in the
分割された複数枚の画像を記憶した補正画像記憶テーブルの一例を図７の補正画像記憶テーブル７４０Ｂに示す。「ｐｉｃｔｕｒｅ００１Ａ＿ｌｅｆｔ」が、補正後の調査票の画像の左側ページの画像として分割され生成、記憶された画像である。「ｐｉｃｔｕｒｅ００１Ａ＿ｒｉｇｈｔ」が、補正後の調査票の画像の右側ページの画像として分割され生成、記憶された画像である。 An example of a corrected image storage table that stores a plurality of divided images is shown in the corrected image storage table 740B of FIG. “Picture001A_left” is an image divided, generated, and stored as an image on the left page of the corrected questionnaire image. “Picture001A_right” is an image divided, generated, and stored as an image on the right page of the corrected questionnaire image.
ステップＳ６０８で、画像記憶アプリケーションは、ステップＳ６０７で分割し、補正画像記憶テーブル７４０Ｂに記憶された複数枚の補正後の画像を、表示画面に、分離させた状態で左右に並べてプレビュー表示する。プレビュー表示の一例を図９の９１０に示す。 In step S608, the image storage application divides in step S607 and displays a plurality of corrected images stored in the correction image storage table 740B on the display screen side by side in a separated state for preview. An example of the preview display is shown in 910 of FIG.
補正画像記憶テーブル７４０Ｂから取得した複数の画像の表示位置を、複数の画像が離れて（分離して）表示される位置（例えば図９の９１０における９１４Ｌ、９１４Ｒの位置）にそれぞれ決定し、決定した位置のそれぞれに表示対象の画像を配置して表示する。 The display positions of the plurality of images acquired from the corrected image storage table 740B are determined and determined at positions where the plurality of images are displayed apart (separatedly) (for example, the positions of 914L and 914R in 910 of FIG. 9). The image to be displayed is arranged and displayed at each of the designated positions.
具体的には、基準線９１５Ｌ（破線）の中心点の位置９１４Ｌに左側の画像の左辺の中心点を合わせ、当該画像を、基準線９１６Ｌ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｌはライブビュー表示領域の左端から所定距離の位置に設定し、基準線９１６Ｌはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Specifically, the center point of the left side of the image on the left side is aligned with the position 914L of the center point of the
また、基準線９１５Ｒ（破線）の中心点の位置９１４Ｒに右側の画像の右辺の中心点を合わせ、当該画像を、基準線９１６Ｒ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｒはライブビュー表示領域の右端から所定距離の位置に設定し、基準線９１６Ｒはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Further, the center point of the right side of the image on the right side is aligned with the
９１０は、携帯端末１００が状態で撮影された画像を分割して表示しているプレビュー表示画面の一例である。９１１Ｌは、９０１Ｌに示す左ページの画像が補正された画像である。９１１Ｒは、９０１Ｒに示す右ページの画像が補正された画像である。
「決定」ボタン９１２は、画像９１１Ｌ及び９１１Ｒを永続記憶領域、例えば外部メモリ２１１に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ２００に送信する画像の候補として選択可能とする画像である。
The "OK"
「取り消し」ボタン９１３は、画像９１１Ｌ及び９１１Ｒを破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。
The "Cancel"
ステップＳ６０９で、画像記憶アプリケーションはユーザ操作を受け付け、ステップＳ６１０で、受け付けた操作がプレビュー表示されている画像（ステップＳ６０７又はＳ６１２で記憶された補正画像記憶テーブルの画像）の、外部メモリ２１１への記憶を確定する操作か、当該画像を破棄する操作か判定する（操作判定手段に該当）。
In step S609, the image storage application accepts the user operation, and in step S610, the image in which the accepted operation is preview-displayed (the image of the corrected image storage table stored in step S607 or S612) is transferred to the
例えば、プレビュー表示画面における「決定」ボタンの押下を受け付けた場合に、プレビュー表示されている画像の、外部メモリ２１１への記憶を確定する操作を受け付けたと判定する。
For example, when the press of the "OK" button on the preview display screen is accepted, it is determined that the operation of confirming the storage of the preview-displayed image in the
また、プレビュー表示画面における「取り消し」ボタンの押下を受け付けた場合に、プレビュー表示されている画像を破棄する操作を受け付けたと判定する。 Further, when the pressing of the "Cancel" button on the preview display screen is accepted, it is determined that the operation of discarding the preview-displayed image is accepted.
ステップＳ６０９で受け付けた操作が、プレビュー表示されている画像の、外部メモリ２１１への記憶を確定する操作であると判定された場合は、処理をステップＳ６１１に移行する。
If it is determined that the operation received in step S609 is an operation for confirming the storage of the preview-displayed image in the
ステップＳ６０９で受け付けた操作が、プレビュー表示されている画像の破棄の操作であると判定された場合に、プレビュー表示画面を終了して撮影画面を表示する。 When it is determined that the operation received in step S609 is the operation of discarding the image displayed in the preview, the preview display screen is terminated and the shooting screen is displayed.
ステップＳ６１１では、記憶を確定する操作がされた画像（「決定」ボタンの押下を受け付けた時点でプレビュー表示されていた画像）を、外部メモリ２１１に記憶する。具体的には、外部メモリ２１１に記憶されている画像記憶テーブル７５０（図７）に、当該画像を追加記憶する処理を行う。また、当該画像と対応付けて、当該画像が通常モードで撮影された画像か、調査票撮影モードで撮影された画像かを識別する識別情報を記憶する。その後、プレビュー表示画面を終了して撮影画面を表示する。
In step S611, the image for which the operation for confirming the storage is performed (the image that was preview-displayed at the time when the "decision" button is accepted) is stored in the
ステップＳ６１４では、プレビュー表示画面１７１０（図７）を表示し、撮影画像記憶テーブル７３０に記憶されている画像をそのままプレビュー表示領域に表示する。また、処理をステップＳ６１１に移行して、表示した画像を外部メモリに記憶する。プレビュー画面表示後、所定時間経過したら画面を撮影画面に１７００に戻す。以上が図６の説明である。 In step S614, the preview display screen 1710 (FIG. 7) is displayed, and the image stored in the captured image storage table 730 is displayed as it is in the preview display area. Further, the process proceeds to step S611, and the displayed image is stored in the external memory. After the preview screen is displayed, the screen is returned to the shooting screen at 1700 after a predetermined time has passed. The above is the description of FIG.
図１０を参照して、サーバ２００へ送信する画像の選択及び送信処理について説明する。 The selection and transmission processing of the image to be transmitted to the server 200 will be described with reference to FIG.
画像一覧表示画面１０００は、画像記憶テーブル７５０に記憶されている画像を１枚ずつ、一覧にして表示する画像一覧の表示画面である。
The image
画像記憶アプリケーションは、不図示のメニュー画面において、画像一覧表示画面１０００を表示する操作を受け付けることで、画像一覧表示画面１０００を表示画面に表示する。
The image storage application displays the image
画像記憶アプリケーションは、１００１に示す一覧表示部に、１０００に示すように画像一覧を、個別に選択可能に表示する。１００２は各画像の撮影日時である。 The image storage application displays an image list individually and selectably on the list display unit shown in 1001 as shown in 1000. 1002 is the shooting date and time of each image.
画像の選択操作を受け付けると、画像を選択状態にする。選択状態の画像は選択枠１００３を表示して識別可能とする。（選択受付手段に該当）
When the image selection operation is accepted, the image is selected. The image in the selected state is made identifiable by displaying the
画像記憶アプリケーションは、「報告フォームへ移動」ボタン１００４の押下を受け付けると、選択状態の画像をサーバ２００への送信する対象画像として決定する。
When the image storage application receives the pressing of the "move to report form"
そして、送信対象として決定された画像の中に、調査票撮影モードで撮影された画像があるか判定する。ない場合には、送信対象の画像の送信先をサーバ３００に決定し、サーバ３００の識別情報を送信先として記憶し、送信対象の画像をサーバ３００に送信する。 Then, it is determined whether or not there is an image taken in the survey form shooting mode among the images determined as the transmission target. If not, the destination of the image to be transmitted is determined to the server 300, the identification information of the server 300 is stored as the destination, and the image to be transmitted is transmitted to the server 300.
送信対象として決定された画像の中に調査票撮影モードで撮影された画像がある場合には、当該画像の送信先をサーバ２００に決定し、当該サーバ２００の識別情報を送信先として記憶し、表示画面を報告フォーム画面１０１０に表示遷移させる。
If there is an image taken in the survey form shooting mode among the images determined as the transmission target, the transmission destination of the image is determined to the server 200, and the identification information of the server 200 is stored as the transmission destination. The display transition is made to the
ページ数表示部１０１１には、送信する対象画像の枚数を表示する。
The number of
画像記憶アプリケーションは、報告する（サーバ２００に画像を送信する）調査票の調査対象の薬剤名と、情報源（例えば調査票を回収した病院名）と、当該報告を識別するための任意の管理番号の入力を受け付ける。 The image storage application is an arbitrary management for identifying the drug name to be investigated in the questionnaire to be reported (sending an image to the server 200), the information source (for example, the name of the hospital from which the questionnaire was collected), and the report. Accepts number input.
そして、「送信」ボタン１０１２の押下を受け付けることで、送信対象の画像と、報告フォーム画面１０１０で入力を受け付けた各情報を、報告情報として、送信先として決定・記憶されているサーバ２００に送信する。
Then, by accepting the pressing of the "send"
サーバ２００のＣＰＵ２０１は、当該報告情報を受信し、そのなかの画像データを取得して、１つの文書ファイルに変換する。例えば、１０枚の画像を受信した場合、当該１０枚の画像を１０ページのＰＤＦファイルに変換して外部メモリに記憶する。以上が図１０の説明である。
The
以上説明したように、本発明によれば、撮影する装置の向きに応じて、記憶する画像の数を決定可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of determining the number of images to be stored according to the orientation of the device for photographing.
例えば、撮影モードを変更することなく、所定の撮影モードの場合に、装置の向きに応じて、撮影した画像を分割して、または分割せずに画像記憶することが可能となる。 For example, in the case of a predetermined shooting mode without changing the shooting mode, the shot image can be divided or stored without being divided according to the orientation of the device.
また、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。 Further, it is possible to provide a mechanism for easily confirming that the image has been photographed in the mode of dividing the image after the image has been photographed.
また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。 Further, it is possible to provide a mechanism for easily confirming that the image is divided after the image is taken and after the image is taken.
これにより、ユーザは画面に表示された画像を、その後利用する（報告対象の画像としてサーバに送信すべき）画像として記憶すべきか否かを容易に判断できるようになる。 As a result, the user can easily determine whether or not the image displayed on the screen should be stored as an image to be used (which should be transmitted to the server as the image to be reported).
＜第２の実施形態＞
次に図１４を参照して、本発明の第２の実施形態における、処理の流れについて説明する。
<Second embodiment>
Next, with reference to FIG. 14, the processing flow in the second embodiment of the present invention will be described.
第１の実施形態においては、携帯端末の向きに応じて撮影した画像をそのまま記憶して表示するか、撮影された画像を複数枚の画像に分割して、分割されたことが分かるように表示するかを決定して切り替えるものとした。しかし、必ずしも端末の向きが変わる都度、記憶する画像の数や表示方法を変更したくないことがある。 In the first embodiment, the captured image is stored and displayed as it is according to the orientation of the mobile terminal, or the captured image is divided into a plurality of images and displayed so that the divided images can be seen. It was decided to switch. However, there are times when you do not want to change the number of images to be stored or the display method each time the orientation of the terminal changes.
例えば、目の前の机に調査票を見開き状態にして横向きＡ３として置くだけの十分な横幅（場所）が確保できない場合、見開きの状態で冊子を手に持って、一度、携帯端末１００を横向きにして撮影し、以降ずっと手に持って撮影するのは疲れるため、見開きＡ３の調査票をＡ３縦として机に置き、撮影、分割して記憶したいことが考えられる。 For example, if it is not possible to secure a sufficient width (place) to place the survey form on the desk in front of you in a spread state and place it sideways as A3, hold the booklet in the spread state and once turn the mobile terminal 100 sideways. Since it is tiring to take a picture by holding it in the hand for a long time after that, it is conceivable that the questionnaire of the spread A3 should be placed on the desk as A3 vertical, taken, divided and memorized.
第２の実施形態においては、モードを変更のタイミングを適切に決定する仕組みを提供する。 In the second embodiment, a mechanism for appropriately determining the timing of changing the mode is provided.
図１４の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
Each process of FIG. 14 is executed by the
図１４の処理は、図６のステップＳ６０４で、調査票撮影モードが設定されていると判定された場合に開始する。 The process of FIG. 14 starts when it is determined in step S604 of FIG. 6 that the survey form shooting mode is set.
ステップＳ１４０５で、画像記憶アプリケーションは、ステップＳ６０１で撮影された画像が、自機が縦の状態で撮影された縦の画像か、自機が横向きの状態で撮影された横の画像かを判定する。 In step S1405, the image storage application determines whether the image taken in step S601 is a vertical image taken in the vertical state of the own machine or a horizontal image taken in the horizontal state of the own machine. ..
自機が縦の状態で撮影された縦の画像である場合は処理をステップＳ１４０２に移行し、自機が横向きの状態で撮影された横の画像である場合には処理をステップ１４０３に移行する。 If the own machine is a vertical image taken in the vertical state, the process shifts to step S1402, and if the own machine is a horizontal image taken in the horizontal state, the process shifts to step 1403. ..
ステップＳ１４０２では、画像記憶アプリケーションは、当該撮影の直前の撮影で取得された画像が、自機が横の状態で撮影された横の画像か判定する。自機が横の状態で撮影された横の画像である場合には、処理をステップＳ６０６に移行し、自機が横の状態で撮影された横の画像でない場合には、処理をステップＳ１６１２に移行する。 In step S1402, the image storage application determines whether the image acquired in the shooting immediately before the shooting is a horizontal image shot in the horizontal state of the own machine. If the own machine is a horizontal image taken in the horizontal state, the process proceeds to step S606, and if the own machine is not a horizontal image taken in the horizontal state, the process proceeds to step S1612. Transition.
ステップＳ１４０３では、画像記憶アプリケーションは、当該撮影の直前の撮影で取得された画像が、自機が縦の状態で撮影された縦の画像か判定する。自機が縦の状態で撮影された縦の画像である場合には、処理をステップＳ６１２に移行し、自機が縦の状態で撮影された縦の画像でない場合には、処理をステップＳ６０６に移行する。 In step S1403, the image storage application determines whether the image acquired in the shooting immediately before the shooting is a vertical image shot in the vertical state of the own machine. If the own machine is a vertical image taken in the vertical state, the process proceeds to step S612, and if the own machine is not a vertical image taken in the vertical state, the process proceeds to step S606. Transition.
なお、直前の撮影で取得された画像は、撮影画面が表示されてからステップＳ６０１の撮影が行われるまでに、メニュー画面に戻ることなく撮影された画像であるものとする。以上が第２の実施形態の説明である。 It is assumed that the image acquired in the immediately preceding shooting is an image taken without returning to the menu screen from the time when the shooting screen is displayed until the shooting in step S601 is performed. The above is the description of the second embodiment.
第２の実施形態の発明によれば、モードを変更のタイミングを適切に決定する仕組みを提供することができる。 According to the invention of the second embodiment, it is possible to provide a mechanism for appropriately determining the timing of changing the mode.
＜第３の実施形態＞
次に図１５を参照して、本発明の第３の実施形態における、処理の流れについて説明する。
<Third embodiment>
Next, the flow of processing in the third embodiment of the present invention will be described with reference to FIG.
第３の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか１枚記憶するかを適切に決定することができる仕組みを提供する。 In the third embodiment, even if the image is taken in the mode of dividing the captured image into a plurality of images, the image of the subject is divided according to the relationship between the position of the subject and the reference position for division. Then, a mechanism capable of appropriately deciding whether to store both or one image is provided.
図１５の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態及び第２の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
Each process of FIG. 15 is executed by the
図１５の処理は、図６のステップＳ６０５で横向きの状態で撮影されたと判定された直後に開始する。 The process of FIG. 15 starts immediately after it is determined in step S605 of FIG. 6 that the image was taken in the sideways state.
ステップＳ１５０１で、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている被写体の画像を読みだして被写体認識の処理を行い、被写体の頂点４点のライブビュー表示領域上の位置を特定する。そして、当該４点が、ライブビュー表示領域の左半分、又は右半分の領域内に収まるか判定する。つまり、画面の左右５０％以内の領域に被写体が収まっているか判定する。（被写体判定手段に該当） In step S1501, the image storage application reads out the image of the subject stored in the captured image storage table 730, performs subject recognition processing, and identifies the positions of the four vertices of the subject on the live view display area. Then, it is determined whether or not the four points fit within the left half or the right half of the live view display area. That is, it is determined whether or not the subject is within 50% of the left and right sides of the screen. (Corresponds to subject determination means)
収まっていない場合は処理を図６のステップＳ６０７に移行する。収まっている場合には処理をステップＳ１５０２に移行する。 If it does not fit, the process proceeds to step S607 of FIG. If it is settled, the process proceeds to step S1502.
ステップＳ１５０２で、画像記憶アプリケーションは、当該被写体を検出した側（４つの頂点を検出した側）の画像を切り出して取得し、ＲＡＭ２０３等の一時記憶領域に記憶する。
In step S1502, the image storage application cuts out and acquires an image on the side where the subject is detected (the side where the four vertices are detected) and stores it in a temporary storage area such as
ステップＳ１５０３で、画像記憶アプリケーションは、画像補正の補正先のサイズをＡ４縦のサイズ・形状の矩形に設定する。 In step S1503, the image storage application sets the correction destination size of the image correction to a rectangle having an A4 vertical size and shape.
そして、ステップＳ１５０４で、被写体を検出した側の画像（実際に撮影した画像の右半分又は左半分の画像）の中から認識した被写体（調査票）の画像を切り出し、当該被写体の画像の各頂点を、Ａ４縦の矩形の頂点に合わせるように変形させて台形補正を行う。 Then, in step S1504, the image of the recognized subject (survey form) is cut out from the image on the side where the subject is detected (the image of the right half or the left half of the actually captured image), and each vertex of the image of the subject is cut out. Is deformed so as to match the apex of the A4 vertical rectangle to perform keystone correction.
ステップＳ１５０５で、画像記憶アプリケーションは、補正後の画像を一時記憶領域（補正画像記憶テーブル）に記憶し、当該記憶した１枚の画像の、プレビュー画面における表示位置を決定する。 In step S1505, the image storage application stores the corrected image in the temporary storage area (corrected image storage table), and determines the display position of the stored image on the preview screen.
本実施形態においては、撮影された画像の被写体がライブビュー画面の左側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定して表示する。 In the present embodiment, when the subject of the captured image is contained in the left half of the live view screen, the display position of the corrected image of the subject is set to the position on the left side of the preview display screen. And display it.
具体的には、基準線９１５Ｌ（破線）の中心点の位置９１４Ｌに画像の左辺の中心点を合わせ、当該画像を、基準線９１６Ｌ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｌはライブビュー表示領域の左端から所定距離の位置に設定し、基準線９１６Ｌはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Specifically, the center point of the left side of the image is aligned with the position 914L of the center point of the
撮影された画像の被写体がライブビュー画面の右側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。 When the subject of the captured image fits in the right half of the live view screen, the display position of the corrected image of the subject is determined to be the position on the right side of the preview display screen.
具体的には、基準線９１５Ｒ（破線）の中心点の位置９１４Ｒに画像の右辺の中心点を合わせ、当該画像を、基準線９１６Ｒ（破線）のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線９１５Ｒはライブビュー表示領域の右端から所定距離の位置に設定し、基準線９１６Ｒはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
Specifically, the center point of the right side of the image is aligned with the
ステップＳ１５０６で、画像記憶アプリケーションは、ステップＳ１５０５で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。 In step S1506, the image storage application arranges and displays the corrected subject image stored in the corrected image storage table at the position determined in step S1505.
なお、ステップＳ１５０５で決定された位置が画面左側の位置９１４Ｌを基準として基準線９１５Ｌと基準線９１６Ｌとの間の位置となる場合、画面右側の基準線９１５Ｒと基準線９１６Ｒとの間の位置には画像を表示しない。また、ステップＳ１５０５で決定された位置が画面右側の位置９１４Ｒを基準として基準線９１５ＬＲと基準線９１６Ｒとの間の位置となる場合、画面左側の基準線９１５Ｌと基準線９１６Ｌとの間の位置には画像を表示しない。以上が第３の実施形態の説明である。
When the position determined in step S1505 is a position between the
以上説明したように、本発明の第３の実施形態によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか１枚記憶するかを適切に決定することができる。 As described above, according to the third embodiment of the present invention, even if the image is captured in the mode of dividing the captured image into a plurality of images, the position of the subject and the reference position of the division are set. Depending on the relationship, it is possible to appropriately determine whether to divide the image of the subject and store both or one image.
例えば、調査票の表紙等Ａ４縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。 For example, when shooting A4 vertical paper such as the cover of a survey form, it is possible to reduce the time and effort required to shoot the terminal vertically each time.
また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか１枚記憶しているか／記憶するかを強調してユーザに提示し、確認させることができる。 In addition, by displaying the image of the subject only on one side of the screen, even if the image is taken in the mode of dividing the captured image into a plurality of images, the image of the subject is divided and both are stored or one image is stored. It is possible to emphasize whether to memorize / memorize and present it to the user for confirmation.
＜第４の実施形態＞
次に図１６を参照して、本発明の第４の実施形態における、処理の流れについて説明する。
<Fourth Embodiment>
Next, the flow of processing in the fourth embodiment of the present invention will be described with reference to FIG.
第４の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、１枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供する。 In the fourth embodiment, even an image taken in a mode in which the captured image is divided into a plurality of images is stored as one image or as a plurality of images depending on the shooting operation. Provide a mechanism that makes it easy to decide whether or not to do so.
図１６の各処理は、携帯端末１００のＣＰＵ２０１が、携帯端末１００に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第１の実施形態、第２の実施形態、第３の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
Each process of FIG. 16 is executed by the
また、第４の実施形態においては、撮影操作は、シャッターボタンの押下と、ライブビュー表示領域の押下（タッチ）の２種類あるものとする。 Further, in the fourth embodiment, there are two types of shooting operations: pressing the shutter button and pressing (touching) the live view display area.
画像記憶アプリケーションは、ステップＳ６００で撮影操作を受け付けた場合に、当該撮影操作がシャッターボタンの押下操作か、ライブビュー表示領域の押下操作かを識別する識別情報をＲＡＭ２０３に記憶する。また、受け付けた操作がライブビュー表示領域の押下操作の場合には、押下された位置（ライブビュー表示領域上の位置）を記憶する。
When the shooting operation is accepted in step S600, the image storage application stores in the
図１６の処理は、図６のステップＳ６０４で、調査票撮影モードと判定された直後に開始する。 The process of FIG. 16 starts immediately after the determination of the survey form photographing mode in step S604 of FIG.
ステップＳ１６０１で、画像記憶アプリケーションは、ステップＳ６００で受け付けた撮影のための操作が、シャッターボタンの押下か、ライブビュー表示領域の押下か判定する。 In step S1601, the image storage application determines whether the operation for shooting received in step S600 is the pressing of the shutter button or the pressing of the live view display area.
シャッターボタンの押下である場合は、処理を図６のステップＳ６０５に移行する。ライブビュー表示領域の押下である場合には、処理をステップＳ１６０２に移行する。 When the shutter button is pressed, the process proceeds to step S605 of FIG. When the live view display area is pressed, the process proceeds to step S1602.
ステップＳ１６０２で、画像記憶アプリケーションは、撮影操作を受け付けた位置が、ライブビュー表示領域のガイド線上か、ガイド線上を除いた左半分の領域内か、ガイド線上を除いた右半分の領域内かを判定する。 In step S1602, the image storage application determines whether the position where the shooting operation is received is on the guide line of the live view display area, in the left half area excluding the guide line, or in the right half area excluding the guide line. judge.
ガイド線上、つまり、ライブビュー表示領域の中央線上に対する撮影操作の場合は、処理をステップＳ６０５に移行する。 In the case of a shooting operation on the guide line, that is, on the center line of the live view display area, the process proceeds to step S605.
撮影操作を受け付けた位置が、ガイド線上を除いた左半分の領域内の場合には処理をステップＳ１６０７に、ガイド線上を除いた右半分の領域内の場合には処理をステップＳ１６０３に移行する。 When the position where the shooting operation is received is within the left half area excluding the guide line, the process proceeds to step S1607, and when the position is within the right half area excluding the guide line, the process proceeds to step S1603.
ステップＳ１６０３で、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている画像を取得して左右に二等分し、右半分の画像を取得する。 In step S1603, the image storage application acquires the image stored in the captured image storage table 730, divides it into two equal parts on the left and right, and acquires the image on the right half.
ステップＳ１６０４で、ステップＳ１６０３で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、Ａ４縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。 In step S1604, the image of the subject is cut out from the image acquired in step S1603, and the image is deformed and corrected so that each vertex of the image of the subject matches the vertex of the A4 vertical rectangle. Then, the corrected image is stored in the corrected image storage table.
一方、ステップＳ１６０７では、画像記憶アプリケーションは、撮影画像記憶テーブル７３０に記憶されている画像を取得して左右に二等分し、左半分の画像を取得する。 On the other hand, in step S1607, the image storage application acquires the image stored in the captured image storage table 730, divides it into two halves on the left and right, and acquires the image on the left half.
ステップＳ１６０８で、ステップＳ１６０７で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、Ａ４縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。 In step S1608, the image of the subject is cut out from the image acquired in step S1607, and the image is deformed and corrected so that each vertex of the image of the subject matches the vertex of the A4 vertical rectangle. Then, the corrected image is stored in the corrected image storage table.
ステップＳ１６０５で、画像記憶アプリケーションは、補正後の画像のプレビュー画面における表示位置を決定する。 In step S1605, the image storage application determines the display position of the corrected image on the preview screen.
本実施形態においては、撮影操作の位置がライブビュー表示領域の左側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定する。 In the present embodiment, when the position of the shooting operation is within the area on the left side of the live view display area, the display position of the corrected image is determined to be the position on the left side of the preview display screen.
撮影操作の位置がライブビュー表示領域の右側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。 When the position of the shooting operation is within the area on the right side of the live view display area, the display position of the corrected image is determined to be the position on the right side of the preview display screen.
ステップＳ１６０６で、画像記憶アプリケーションは、ステップＳ１５０５で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。 In step S1606, the image storage application arranges and displays the corrected subject image stored in the corrected image storage table at the position determined in step S1505.
なお、ステップＳ１６０５で決定された位置が画面左側の位置の場合、画面右側の位置には画像を表示しない。また、ステップＳ１６０５で決定された位置が画面右側の位置の場合、画面左側の位置には画像を表示しない。以上が第３の実施形態の説明である。以上が第４の実施形態の説明である。 If the position determined in step S1605 is the position on the left side of the screen, the image is not displayed at the position on the right side of the screen. Further, when the position determined in step S1605 is the position on the right side of the screen, the image is not displayed at the position on the left side of the screen. The above is the description of the third embodiment. The above is the description of the fourth embodiment.
第４の実施形態の発明によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、１枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供することができる。 According to the invention of the fourth embodiment, even if the image is captured in the mode of dividing the captured image into a plurality of images, it is stored as one image or a plurality of images depending on the shooting operation. It is possible to provide a mechanism that can easily determine whether to store as an image.
例えば、調査票の表紙等Ａ４縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。 For example, when shooting A4 vertical paper such as the cover of a survey form, it is possible to reduce the time and effort required to shoot the terminal vertically each time.
また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか１枚記憶しているか／記憶するかを強調してユーザに提示し、確認させることができる。 In addition, by displaying the image of the subject only on one side of the screen, even if the image is taken in the mode of dividing the captured image into a plurality of images, the image of the subject is divided and both are stored or one image is stored. It is possible to emphasize whether to memorize / memorize and present it to the user for confirmation.
以上説明したように、本発明によれば、撮影する装置の向きに応じて、記憶する画像の数を決定可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of determining the number of images to be stored according to the orientation of the device for photographing.
上述した実施形態の説明においては、画像を受信したサーバ２００側で画像を文書ファイルに変換するものとしたが、例えばサーバ２００への送信対象の画像を１つの文書ファイルに変換する処理を携帯端末１００で行ってから、サーバ２００に送信するようにしてもよい。 In the above description of the embodiment, the image is converted into a document file on the server 200 side that receives the image. For example, the process of converting the image to be transmitted to the server 200 into one document file is performed on the mobile terminal. It may be performed at 100 and then transmitted to the server 200.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。また、上述した各実施形態は自由に組み合わせ可能である。 The present invention can be, for example, an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system composed of a plurality of devices, or 1 It may be applied to a device consisting of two devices. In addition, each of the above-described embodiments can be freely combined.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiments, which is directly or remotely supplied to a system or an apparatus. The present invention also includes cases where the computer of the system or device can also read and execute the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed on the computer also realizes the present invention. That is, the present invention also includes a computer program itself for realizing the functional processing of the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, optical magnetic disks, MOs, CD-ROMs, CD-Rs, CD-RWs, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a program supply method, a browser of a client computer is used to connect to an Internet homepage. Then, the computer program itself of the present invention or a compressed file including the automatic installation function can be supplied from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and the key information for decrypting the encryption is downloaded from the homepage to the user who clears the predetermined conditions. Let me. Then, by using the downloaded key information, it is possible to execute an encrypted program and install it on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.
尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
It should be noted that the above-described embodiments merely show examples of embodiment in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner by these.
That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
１００ 携帯端末
１０１ ネットワーク
２００ サーバ
３００ サーバ
100 mobile terminal 101 network 200 server 300 server
Claims (13)
撮影手段による撮影が、自機が重力方向に対して縦向きの状態で行われたか重力方向に対して横向きの状態で行われたかを判定する判定手段と、
前記判定手段により自機が縦向きの状態で撮影されたと判定される画像を分割することなく１枚の画像として記憶し、前記判定手段により自機が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御手段と、
を備えることを特徴とする情報処理装置。 An information processing device equipped with a shooting means
Judgment means for determining whether the photographing by the photographing means was performed in a state in which the aircraft was oriented vertically with respect to the direction of gravity or in a state of being horizontally oriented with respect to the direction of gravity.
An image determined by the determination means to be taken in a portrait orientation is stored as one image without being divided, and an image determined to be captured by the determination means in a landscape orientation. A storage control means for controlling the image to be divided into a plurality of images and stored.
An information processing device characterized by being equipped with.
を備え、
前記表示手段は、前記判定手段により自機が縦向きの状態で撮影されたと判定される画像を表示する場合には、前記記憶制御手段により記憶された１枚の画像を表示し、前記判定手段により自機が横向きの状態で撮影されたと判定される画像を表示する場合には、前記撮影手段による１回の撮影で得られた画像が前記記憶制御手段により複数枚の画像として記憶されたことを識別可能に前記複数枚の画像を表示することを特徴とする請求項１に記載の情報処理装置。 A display means for displaying an image each time an image is taken so that the user can confirm the image obtained by one shooting by the shooting means.
With
When the display means displays an image determined by the determination means to be taken in a vertically oriented state, the display means displays one image stored by the storage control means, and the determination means. When displaying an image determined to have been taken in a sideways state, the image obtained by one shooting by the shooting means is stored as a plurality of images by the storage control means. The information processing apparatus according to claim 1, wherein the plurality of images are displayed so as to be identifiable.
前記情報処理装置はさらに、
撮影された画像をユーザからの操作を要することなく永続記憶領域に記憶する第１のモードと、撮影された画像をユーザからの操作に応じて永続記憶領域に記憶する第２のモードのいずれかを設定する設定手段と、
前記表示手段により表示された画像を自機の永続記憶領域に記憶する操作を受け付けたる操作受付手段と、
前記第２のモードが設定されている場合、前記操作受付手段により、前記表示手段により表示された画像を自機の永続記憶領域に記憶する操作を受け付けたことに応じて当該画像を自機の永続記憶領域に記憶し、前記第１のモードが設定されている場合、前記撮影手段により撮影された画像を、当該撮影に応じて自動で自機の永続記憶領域に記憶する記憶手段と、
を備えることを特徴とする請求項２に記載の情報処理装置。 The storage control means controls to store the one image or the plurality of images in the temporary storage area.
The information processing device further
One of the first mode in which the captured image is stored in the permanent storage area without requiring any operation from the user, and the second mode in which the captured image is stored in the permanent storage area in response to the operation from the user. Setting means to set and
And it was that operation acceptance means accepts an operation for storing the image displayed in the persistent storage area of its own by the display means,
When the second mode is set, the operation receiving means receives the operation of storing the image displayed by the display means in the permanent storage area of the own machine, and the image is stored in the own machine. A storage means for storing in the permanent storage area and automatically storing the image taken by the photographing means in the permanent storage area of the own machine according to the photographing when the first mode is set.
The information processing apparatus according to claim 2, further comprising.
を備えることを特徴とする請求項４に記載の情報処理装置。 The destination of the image stored by the storage control means is set to the first destination when the image is taken with the first mode set, and the second mode is set. A destination determining means for determining a second destination in the case of a captured image, and a destination determining means.
The information processing apparatus according to claim 4, wherein the information processing apparatus is provided with.
前記記憶制御手段により記憶された画像であって、前記サーバ装置に送信する候補とする画像を個別に選択可能に一覧表示する一覧表示手段と、
前記一覧表示手段において一覧表示された画像の中から、前記サーバ装置に送信する画像の選択を受け付ける選択受付手段と、
前記選択受付手段により選択を受け付けた画像を、前記サーバ装置に送信する送信手段と、
を備える請求項１乃至５のいずれか１項に記載の情報処理装置。 It is possible to communicate with the server device of the destination to which the image of the subject should be transmitted,
A list display means for displaying a list of images stored by the storage control means and which are candidates for transmission to the server device so as to be individually selectable.
A selection receiving means for accepting selection of an image to be transmitted to the server device from the images displayed in a list in the list display means, and a selection receiving means.
A transmission means for transmitting an image whose selection has been accepted by the selection reception means to the server device, and
The information processing apparatus according to any one of claims 1 to 5.
前記記憶制御手段は、横向きの状態で撮影されて得られた画像における被写体が、前記被写体判定手段により当該画像を分割すべき位置にあると判定された場合に、当該画像を複数枚の画像として記憶すべく制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。 A subject determination means for determining whether or not a subject recognized from an image captured by the photographing means is at a position where the image should be stored as a plurality of images.
When the subject in the image obtained by taking the image in the horizontal orientation is determined by the subject determination means to be at a position where the image should be divided, the memory control means sets the image as a plurality of images. The information processing apparatus according to any one of claims 1 to 7, wherein the information processing apparatus is controlled to be stored.
撮影手段による撮影が、自機が重力方向に対して縦向きの状態で行われたか重力方向に対して横向きの状態で行われたかを判定する判定工程と、
前記判定工程により自機が縦向きの状態で撮影されたと判定される画像を分割することなく１枚の画像として記憶し、前記判定工程により自機が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御工程と、
を含むことを特徴とする情報処理方法。 It is an information processing method of an information processing device equipped with an imaging means.
Photographed by the photographing means, a determining step of determining whether done in landscape orientation state with respect to either direction of gravity has been performed in a state of vertical own apparatus with respect to the direction of gravity,
An image determined by the determination step to be captured in the portrait orientation is stored as one image without division, and an image determined to be captured by the determination step in the landscape orientation is determined by the determination step. A memory control process that controls to divide and store multiple images,
An information processing method characterized by including.
前記情報処理装置を、
撮影手段による撮影が、自機が重力方向に対して縦向きの状態で行われたか重力方向に対して横向きの状態で行われたかを判定する判定手段と、
前記判定手段により自機が縦向きの状態で撮影されたと判定される画像を分割すること
なく１枚の画像として記憶し、前記判定手段により自機が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御手段として機能させるためのプログラム。 A program that controls an information processing device equipped with imaging means.
The information processing device
Judgment means for determining whether the photographing by the photographing means was performed in a state in which the aircraft was oriented vertically with respect to the direction of gravity or in a state of being horizontally oriented with respect to the direction of gravity.
An image determined by the determination means to be taken in a portrait orientation is stored as one image without being divided, and an image determined to be captured by the determination means in a landscape orientation. A program for functioning as a memory control means for controlling the image to be divided into a plurality of images and stored.
撮影手段による撮影が、前記情報処理装置が重力方向に対して縦向きの状態で行われたか重力方向に対して横向きの状態で行われたかを判定する判定手段と、
前記判定手段により前記情報処理装置が縦向きの状態で撮影されたと判定される画像を分割することなく１枚の画像として記憶し、前記判定手段により前記情報処理装置が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御手段と、
前記記憶制御手段により記憶された画像を受信して記憶する記憶手段と、
を備えることを特徴とする情報処理システム。 An information processing device including a photographing means and an information processing system including a server device.
A determination means for determining whether the information processing apparatus is photographed vertically with respect to the direction of gravity or horizontally with respect to the direction of gravity.
It is said that the image determined by the determination means to be captured in the vertical orientation is stored as one image without being divided, and the information processing apparatus is captured in the horizontal orientation by the determination means. A memory control means that controls the image to be determined so as to divide it into a plurality of images and store them.
A storage means that receives and stores an image stored by the storage control means, and a storage means.
An information processing system characterized by being equipped with.
撮影手段による撮影が、前記情報処理装置が重力方向に対して縦向きの状態で行われたか重力方向に対して横向きの状態で行われたかを判定する判定工程と、
前記判定工程により前記情報処理装置が縦向きの状態で撮影されたと判定される画像を分割することなく１枚の画像として記憶し、前記判定工程により前記情報処理装置が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御工程と、
前記記憶制御工程により記憶された画像を受信して記憶する記憶工程と、
を含むことを特徴とする情報処理方法。 An information processing method for an information processing device including a photographing means and an information processing system including a server device.
A determination step of determining whether the information processing apparatus is photographed vertically with respect to the direction of gravity or horizontally with respect to the direction of gravity.
An image determined by the determination step to be captured in the vertical orientation is stored as one image without division, and the information processing apparatus is captured in the horizontal orientation by the determination step. A memory control process that controls the determined image to be divided into a plurality of images and stored.
A storage step of receiving and storing an image stored by the storage control step, and a storage step of receiving and storing the image.
An information processing method characterized by including.
前記情報処理システムを、
撮影手段による撮影が、前記情報処理装置が重力方向に対して縦向きの状態で行われたか重力方向に対して横向きの状態で行われたかを判定する判定手段と、
前記判定手段により前記情報処理装置が縦向きの状態で撮影されたと判定される画像を分割することなく１枚の画像として記憶し、前記判定手段により前記情報処理装置が横向きの状態で撮影されたと判定される画像を複数枚の画像に分割して記憶すべく制御する記憶制御手段と、
前記記憶制御手段により記憶された画像を受信して記憶する記憶手段として機能させるためのプログラム。
A program for controlling an information processing device including a photographing means and an information processing system including a server device.
The information processing system
A determination means for determining whether the information processing apparatus is photographed vertically with respect to the direction of gravity or horizontally with respect to the direction of gravity.
It is said that the image determined by the determination means to be captured in the vertical orientation is stored as one image without being divided, and the information processing apparatus is captured in the horizontal orientation by the determination means. A memory control means that controls the image to be determined so as to divide it into a plurality of images and store them.
A program for functioning as a storage means for receiving and storing an image stored by the storage control means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017022622A JP6849911B2 (en) | 2017-02-09 | 2017-02-09 | Information processing equipment, information processing system, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017022622A JP6849911B2 (en) | 2017-02-09 | 2017-02-09 | Information processing equipment, information processing system, information processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018129734A JP2018129734A (en) | 2018-08-16 |
| JP6849911B2 true JP6849911B2 (en) | 2021-03-31 |
Family
ID=63173075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017022622A Active JP6849911B2 (en) | 2017-02-09 | 2017-02-09 | Information processing equipment, information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6849911B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7266266B2 (en) * | 2018-10-20 | 2023-04-28 | インターマン株式会社 | Page shooting separation application program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0520424A (en) * | 1991-07-15 | 1993-01-29 | Nec Corp | Electronic filing device |
| JPH0888759A (en) * | 1994-09-19 | 1996-04-02 | Ricoh Co Ltd | Image processing unit and facsimile equipment |
| JP2001069341A (en) * | 1999-08-30 | 2001-03-16 | Canon Inc | Picture processor, picture processing means and memory medium |
| JP5754653B2 (en) * | 2012-12-18 | 2015-07-29 | カシオ計算機株式会社 | Image control apparatus and program |
| WO2015064608A1 (en) * | 2013-10-31 | 2015-05-07 | 京セラドキュメントソリューションズ株式会社 | Image processing device and image processing method |
-
2017
- 2017-02-09 JP JP2017022622A patent/JP6849911B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018129734A (en) | 2018-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100841281B1 (en) | Electronic conference system, electronic conference controller, information terminal device, and electronic conference support method | |
| JP6171764B2 (en) | Image processing system, portable terminal, server device, and program | |
| US8094242B2 (en) | Object management apparatus, mobile terminal, and object management method | |
| CN109495669B (en) | Information processing apparatus and computer-readable medium storing program | |
| JP2011024139A (en) | Imaging device, imaging method, program, and imaging system | |
| JP6849911B2 (en) | Information processing equipment, information processing system, information processing method and program | |
| CN106373154B (en) | Image processing apparatus and image processing method | |
| CN109151300A (en) | camera system | |
| JP7032679B2 (en) | Information processing equipment, information processing system, information processing method and program | |
| JP6795763B2 (en) | Information processing equipment, information processing system, information processing method and program | |
| JP7252501B2 (en) | Information processing device, information processing system, information processing method and program | |
| JP2008217660A (en) | Retrieval method and device | |
| JP2013254244A (en) | Information terminal and control method of the same, and program | |
| JP2023080117A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP2011003081A (en) | Work remote support system and work remote support method | |
| JP7436855B2 (en) | Information processing device, control method, program | |
| JP6802504B1 (en) | Information processing device, control method, program | |
| JP5975020B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP2014116857A (en) | Information processing device, electronic conference system, information processing method, and program | |
| JP2020102120A (en) | Information processing apparatus, control method, and program | |
| JP2019101674A (en) | Information processing device, control method therefor, and program | |
| JP2019114977A (en) | Information processor, control method thereof and program, information processing system, control method thereof and program | |
| JP2019114976A (en) | Information processor, control method thereof and program, information processing system, control method thereof and program | |
| JP2009278285A (en) | Image management device, image management method, program, and recording medium | |
| JP2017157956A (en) | Information processing apparatus, information processing apparatus control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210215 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6849911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |