TOP  >  仕事の日記  >  OhYeah!  >  携帯農薬検索実験室  >  携帯農薬検索実験室の農薬登録情報更新ポリシー変更

OhYeah! さんの日記

2013
1月 24
(木)
15:17
携帯農薬検索実験室の農薬登録情報更新ポリシー変更
本文
 携帯農薬検索実験室の農薬登録情報 CSV データ(MACS 形式 CSV)の更新を、自宅サーバの手動トリガーによる適宜更新からレンタルサーバの CRON ジョブによる自動更新に変更しました。これに伴い、データの更新チェックも平日の 9, 12, 15, 18 時の4回と細かく行うように変更し、FAMIC のデータが更新されるとそれほどタイムラグなく MACS 形式 CSV も更新されます。

 MACS 形式 CSV は FAMIC の Excel データから作成していたんですが、FAMIC の CSV データもようやくファイル名等が安定したようなので、CSV データから作成するように変更しました。FAMIC の Excel データはレンタルサーバでは正常に読み込めるソフトがなかったため、今までは自宅サーバでデータを作成していましたが、元データを CSV に変更したおかげで、レンタルサーバでも問題なく自動更新できるようになりました。
 レンタルサーバは常時稼働しているので、データ更新チェックも1日4回と多めにチェックするようにしました。

 また、ACFinder 用の作物・病害虫マスターである sakumotsu.txt と byochu.txt についても、レンタルサーバの CRON ジョブによる自動更新に変更しました。
 こちらは元々レンタルサーバ側においてあるスクリプトで処理はしてたんですが、スクリプトの実行は手動トリガーによる適宜更新としていました。今回、データ更新チェックルーチンを追加して、CRON ジョブによる自動更新ができるように修正しました。更新チェックは、MACS 形式 CSV 同様に平日の 9, 12, 15, 18 時の4回です。

 なお、携帯農薬検索システムで使用しているデータベースについては、まだ手動トリガーによる適宜更新のままですが、こちらも近いうちにレンタルサーバの CRON ジョブによる自動更新に変更する予定です。誰かが検索している最中にデータベースを更新する訳にはいかないので、こちらは自動更新になっても夜中に1回の更新チェックになるでしょう。
閲覧(6617)

コメント一覧

OhYeah!  投稿日時 2013.02.04 22:36
引用:逆に登録番号 21933, 21934 については末尾の , が多すぎて、私の処理ルーチンでは処理できませんでした。すみません、濡れ衣でした。数が増えるのはどうも解せないと思ってよくよく確認したら、私の方の処理ルーチンで、CSV データを分割する前に全角 ',' を半角 ',' に変換していたのが問題でした。これについては、すでに修正済みです。
OhYeah!  投稿日時 2013.02.04 17:51
今日更新になった FAMIC CSV は、「行末の空白データの数だけ ,,,, がある」という点については修正されてたんですが、逆に登録番号 21933, 21934 については末尾の , が多すぎて、私の処理ルーチンでは処理できませんでした。
現在は、データ数が足りない場合だけでなく、多すぎる場合にも対応できるよう修正してあります。
OhYeah!  投稿日時 2013.02.01 18:19
とりあえずは FAMIC に苦情を出しておきましたが、これからも起こりうることとして、自動更新ソフトの方を .zip ファイル内のファイル名を抽出して作業するように修正しました。これで、今回のように .zip と .csv でファイル名に不整合があっても問題なく対応できるはずです。
OhYeah!  投稿日時 2013.02.01 16:55
引用: MACS 形式 CSV は FAMIC の Excel データから作成していたんですが、FAMIC の CSV データもようやくファイル名等が安定したようなので、CSV データから作成するように変更しました。安定したと思っていたのですが、早速やらかしてくれました。今日更新された登録基本部の H2501300.zip の中身が、H2502300.csv というファイル名になっていて、15 時の自動巡回で自動更新ソフトがダウンロード・解凍までしたあとファイルを見失ってしまいました
csv データなんか、Excel より簡単に DB から自動作成できるんですから、FAMIC もいい加減自動作成に切り替えて欲しいもんです。
OhYeah!  投稿日時 2013.01.26 10:53
FAMIC の CSV ファイルに相変わらず不備があり、下記のようなデータが混在しているため、MACS 形式 CSV でもカラム数が異なるレコードが混在してしまうというバグがあったので、修正しました。

正常データ(行末の空白データの数だけ ,,,, がある)
90,殺虫剤,クロルピクリンくん蒸剤,カヤククロールピクリン,日本化薬,あぶらな科野菜(キャベツを除く),,ケラ,,<床土・堆肥>1穴当り3~5mL<圃場>1穴当り2~3mL,,,1回,土壌くん蒸,,,,,,1,1回,,,,

異常データ(行末にも空白データがあるのに ,,,, がない)
90,殺虫剤,クロルピクリンくん蒸剤,カヤククロールピクリン,日本化薬,だいこん,,亀裂褐変症,,<床土・堆肥>1穴当り3~5mL<圃場>1穴当り2~3mL,,,1回,土壌くん蒸,,,,,,1,1回
OhYeah!  投稿日時 2013.01.24 18:07
tekiyo.csv のファイル名が間違っていたので、修正しました。