「saveMLAK:公民館のデータ入力」の版間の差分

提供:saveMLAK
ナビゲーションに移動 検索に移動
(→‎移行フォーマット: サンプル追加)
8行目: 8行目:
 
== 既存のリストをプログラムで一括してwikiへ ==
 
== 既存のリストをプログラムで一括してwikiへ ==
  
* [http://shelter-info.appspot.com/maps Google 避難所情報]から最新のcvsファイルをすべてダウンロードする
+
* 以下の[http://shelter-info.appspot.com/maps Google 避難所情報]の元データ配布場所から最新のcvsファイルをダウンロードする
**aomori.csv, iwate.csvと名付けていく
+
** [http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0 一括ダウンロード]から、File -> Export でcsvファイルとしてダウンロードできる
 
* csvを加工し、一括変換用のファイルを作る
 
* csvを加工し、一括変換用のファイルを作る
**すべてをくっつける:cat *.csv > all.txt
+
**'''データに改行'''がはいっている。改行に対応したパーサを使うこと
**改行のおかしなものをとりのぞく(人手チェック必要、perl -i.org -pe 's/\n//g' all.txt でもできるかも? )
+
**「公民館」が入っているものだけをとりだす  
***データに改行がはいっているものがあるので、おかしなcsvになっているため。
+
* プログラムで一括wikiへテスト入力(テストサーバに入れる?)
**「公民館」が入っているものだけをとりだす (grep 公民館 all.txt > kominkan.txt)
+
* 公民館に詳しい人がチェックする(wiki入力済みデータを確認する)
* 公民館に詳しい人がチェックする
+
* OKなら本番サーバにいれる。
* プログラムで一括wiki入力
 
* wiki入力済みデータを確認する
 
  
 
※当初、上田先生が作られたりすとからということでしたが、どうやら、
 
※当初、上田先生が作られたりすとからということでしたが、どうやら、
28行目: 26行目:
 
※ これは架空の例です。(一部、本当の例も使っています)
 
※ これは架空の例です。(一部、本当の例も使っています)
 
{| border="1"
 
{| border="1"
!  列名  !! Google 項目名 !! 変換後の項目 !! 必須? !! 具体例
+
!  列名  !! Google 項目名 !! 英語項目名 !! 変換後の項目 !! 必須? !! 具体例1 !!具体例2
 
|-
 
|-
| A列 || 都道府県 || 都道府県 ||必ずある|| 岩手県
+
| A列 || 都道府県 ||Prefecture || 都道府県 ||必ずある|| 岩手県||福島県
 
|-
 
|-
| B列 || 市区町村 || 名称 || 必ずある|| 一関市
+
| B列 || 市区町村 || City|| 名称 || 必ずある|| 一関市||伊達郡川俣町
 
|-
 
|-
| C列 || 住所詳細 || 所在地 || if あれば|| 一関市青葉2丁目4-5
+
| C列 || 住所詳細 ||District || 所在地 || if あれば|| 一関市青葉2丁目4-5||大字小島字町畑8-1/
 
|-
 
|-
| D列 || 避難所名称 || 名称 || 必ずある|| 山目公民館
+
| D列 || 避難所名称 || Name|| 名称 || 必ずある|| 山目公民館||旧おじま小(おじまふるさと交流館)
 
|-
 
|-
| E列 || 避難人数 || その他 || if あれば|| 19
+
| E列 || 避難人数 ||Population || その他 || if あれば|| 19||51
 
|-
 
|-
| F列 || 最大収容人数 || 避難受入規模|| if あれば|| 25
+
| F列 || 最大収容人数 ||Capacity || 避難受入規模|| if あれば|| 25||950
 
|-
 
|-
| G列 || 更新日時 || 情報源 || 必ずある|| 2011/4/14 17:14
+
| G列 || 更新日時 ||Updated || 情報源 || 必ずある|| 2011/4/14 17:14||4月13日 16:39
 
|-
 
|-
| H列 || 備考 || その他 || if あれば|| 市外避難者あり
+
| H列 || 備考 || Notes|| その他 || if あれば|| 市外避難者あり||電話番号: 024-566-3297
 
|-
 
|-
| I列 || 情報源  || 情報源 || if あれば|| 岩手県災害対策本部
+
| I列 || 情報源  ||Source || 情報源 || if あれば|| 岩手県災害対策本部||福島県災害対策本部による
 
|-
 
|-
| J列 || 緯度経度 (推定) || 緯度経度 || if あれば|| 38.931480,141.126602
+
| J列 || 緯度経度 (推定) ||LatLng || 緯度経度 || if あれば|| 38.931480,141.126602||37.697359,140.608239
 +
|-
 +
| K列 || - ||Color || - || if あれば|| ||measle_turquoise
 
|-
 
|-
 
|}
 
|}
78行目: 78行目:
 
  | 避難受入規模=最大収容人数:<<最大収容人数>>人 if あれば
 
  | 避難受入規模=最大収容人数:<<最大収容人数>>人 if あれば
 
  | その他=避難者:<<避難者人数>>人 if あれば, <<備考>> if あれば
 
  | その他=避難者:<<避難者人数>>人 if あれば, <<備考>> if あれば
  | 記入者=[[利用者:Yegusa|Yegusa]]
+
  | 記入者=<nowiki>[[利用者:Yegusa|Yegusa]]</nowiki>
  | 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:<<更新日時>>),<<情報源>> if あれば
+
  | 元情報=<nowiki>[http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0  Google 避難所情報]</nowiki>(更新日:<<更新日時>>),<<情報源>> if あれば
 
  }}
 
  }}
  
107行目: 107行目:
 
  | 避難受入規模=最大収容人数:25人
 
  | 避難受入規模=最大収容人数:25人
 
  | その他=避難者:19人, 市外避難者あり
 
  | その他=避難者:19人, 市外避難者あり
  | 記入者=[[利用者:Yegusa|Yegusa]]
+
  | 記入者=<nowiki>[[利用者:Yegusa|Yegusa]]</nowiki>
  | 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部
+
  | 元情報=<nowiki>[http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0  Google 避難所情報]</nowiki>(更新日:2011/4/14 17:14),岩手県災害対策本部
 
  }}
 
  }}
  

2011年4月18日 (月) 17:07時点における版

 手順

大きくわけて2つのフェーズがある

  • 既存のリストをプログラムで一括してwikiに入れる
  • 調査票を公民館に配って、回収した紙の調査票からwikiに入力する

既存のリストをプログラムで一括してwikiへ

  • 以下のGoogle 避難所情報の元データ配布場所から最新のcvsファイルをダウンロードする
  • csvを加工し、一括変換用のファイルを作る
    • データに改行がはいっている。改行に対応したパーサを使うこと
    • 「公民館」が入っているものだけをとりだす
  • プログラムで一括wikiへテスト入力(テストサーバに入れる?)
  • 公民館に詳しい人がチェックする(wiki入力済みデータを確認する)
  • OKなら本番サーバにいれる。

※当初、上田先生が作られたりすとからということでしたが、どうやら、 上田先生のデータとは、Google 避難所情報から 抜き出したデータであることがわかったため、直接、Google避難所サイトからダウンロードして 一括入力することとしました。

移行フォーマット

※ これは架空の例です。(一部、本当の例も使っています)

列名 Google 項目名 英語項目名 変換後の項目 必須? 具体例1 具体例2
A列 都道府県 Prefecture 都道府県 必ずある 岩手県 福島県
B列 市区町村 City 名称  必ずある 一関市 伊達郡川俣町
C列 住所詳細 District 所在地 if あれば 一関市青葉2丁目4-5 大字小島字町畑8-1/
D列 避難所名称 Name 名称 必ずある 山目公民館 旧おじま小(おじまふるさと交流館)
E列 避難人数 Population その他 if あれば 19 51
F列 最大収容人数 Capacity 避難受入規模 if あれば 25 950
G列 更新日時 Updated 情報源 必ずある 2011/4/14 17:14 4月13日 16:39
H列 備考 Notes その他 if あれば 市外避難者あり 電話番号: 024-566-3297
I列 情報源 Source 情報源 if あれば 岩手県災害対策本部 福島県災害対策本部による
J列 緯度経度 (推定) LatLng 緯度経度 if あれば 38.931480,141.126602 37.697359,140.608239
K列 - Color - if あれば measle_turquoise
  • << >> で囲まれた部分がもともとGoogle避難所の項目名のデータを示す。
  • if あればは、データが入っていない項目の場合は、データが入っていればということを示す。
{{subst:新規施設
| 名称=<<市区町村>><<避難所名称>>
| よみ=
| 都道府県=<<都道府県>>
| 施設種別=公民館
| 所在地  =<<住所詳細>> if あれば
| 緯度経度=<<緯度経度 (推定)>> if あれば
| 電話番号=
| FAX=
| メールアドレス=
| URL=
| Twitterアカウント=
| 備考=
| 被害状況=
| 職員・利用者の被害=
| 施設の被害=
| コレクションの被害=
| その他の被害=
| 運営情報=
| 救援状況=
| 避難受入情報=
| 避難受入規模=最大収容人数:<<最大収容人数>>人 if あれば
| その他=避難者:<<避難者人数>>人 if あれば, <<備考>> if あれば
| 記入者=[[利用者:Yegusa|Yegusa]]
| 元情報=[http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0  Google 避難所情報](更新日:<<更新日時>>),<<情報源>> if あれば
}}
  • 移行例
{{subst:新規施設
| 名称=一関市山目公民館
| よみ=
| 都道府県=岩手県
| 施設種別=公民館
| 所在地  =一関市青葉2丁目4-5
| 緯度経度=38.931480,141.126602
| 電話番号=
| FAX=
| メールアドレス=
| URL=
| Twitterアカウント=
| 備考=
| 被害状況=
| 職員・利用者の被害=
| 施設の被害=
| コレクションの被害=
| その他の被害=
| 運営情報=
| 救援状況=
| 避難受入情報=
| 避難受入規模=最大収容人数:25人
| その他=避難者:19人, 市外避難者あり
| 記入者=[[利用者:Yegusa|Yegusa]]
| 元情報=[http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0  Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部
}}

表示結果→サンプルへ

調査票からwikiに入力する

準備中

覚書

公民館データの現状ですが、だいたい以下のとおりです。

- 現在、移行するようなデータはsavekominkanのサイト自体にはない (そういう意味では、savelibrary, museun, archiveとは事情がことなる) -ただし、上田先生が作られた公民館避難所リストをまずは、wikiに入力したい -今後、紙の調査票を各公民館に配って(配り方は検討中)、記入してもらい、 それを回収して、ボランティアが入力するモデルを考え中 (入力ボランティアにはあてがある)(まだ、調査票を配っていない段階である) (紙じゃなくて、メールとか、Excelとかにしようかそのへんも検討中) -被災地の公民館だけではなく、非被災地の公民館で受入体制についての調査票の配布と回収も検討中で、そのような非被災地、受け入れ情報のみがある公民館もでてくるとおもう

そこで、まず、saveMLAKにどうKをもってくるかは、短期的には、 大きく分けて、2つの作業があると思います。

a) 既存のリスト(上田先生がつくられたというExcelのデータ)をプログラムで一括置換してwikiに入れる b) 調査票を公民館に配って、回収した紙の調査票からwikiに入力する (bについては、紙ではなく、メールなどといった方法もあり、いろいろ検討することがある)

以下、詳細です。

a) 既存のリスト(上田先生がつくられたというExcelのデータ)をプログラムで一括置換してwikiに入れる

これは、神代さんがメールで送付してくださった、避難所リストのことです。 こちらは、プログラムで一括でいれましょう。

b) 調査票を公民館に配って、回収した調査票からwikiに入れる

b) ですが、昨日の打ち合わせでは、いったんExcelにしてそれからwikiにいれようか と話がすすみました。(wiki入力は敷居がたかく、Excelならなんとかなるかもという理由からです。)

私も、その時は、それが良いと思ったのですが、 高久さんと議論してみたのですが、 どうせ、調査票からExcelに入力するのでしたら、 wikiに直接いれたほうがよいという結論になりました。

というのも、中間的にExcelのファイルに入力すると、どうしても、 どれが最新かわからないなど、なんどもいきつもどりつする、 コミュニケーションコストがかかるという問題が発生してくるからです。

いったん回収した紙の調査票を、特定の人がwikiの入力するのであれば、 最初、やり方を覚えるまでは、すこしかかるかもしれませんが、 いったん、習熟すれば、それほど難しくありませんので、 その作戦がありかもなと。 どちらにしろ、いろいろつめないといけないことがありそうです。

とりあえず、まずは、a) のほうをすすめようと思います。 a) と b)を同時にやるとわけがわからなくなるので。

a) が終われば、公民館のデータがある程度入って、 実績ができるので、被災地の公民館の人も、やろうかなという 気になるのでよいのでは、という神代さんの意見もありますし、 さっさとa)のほうの作業を進めようと思います。

まずは、 1.江草が、上田Excelリストから、wikiのデータに移すサンプルを作成 (Re: [saveMLAK:934] 公民館の情報 に添付してあったものです) 2.慶野さんが、カテゴリ名などをチェック 3.高久さんがプログラムを作成、wikiに変換

といった流れでやろうと思います。