saveMLAK:公民館のデータ入力 - 版の履歴

Yegusa: /* 既存のリストをプログラムで一括してwikiへ */ 「避難所名称に」を追加

2011-04-18T14:10:43Z

既存のリストをプログラムで一括してwikiへ: 「避難所名称に」を追加

← 古い版		2011年4月18日 (月) 23:10時点における版
12行目:		12行目:
	* csvを加工し、一括変換用のファイルを作る		* csvを加工し、一括変換用のファイルを作る
	**'''データに改行'''がはいっている。改行に対応したパーサを使うこと		**'''データに改行'''がはいっている。改行に対応したパーサを使うこと
	**~~「公民館」が入っているものだけをとりだす~~		**避難所名称に「公民館」が入っているものだけをとりだす
	* プログラムで一括wikiへテスト入力（テストサーバに入れる？）		* プログラムで一括wikiへテスト入力（テストサーバに入れる？）
	* 公民館に詳しい人がチェックする（wiki入力済みデータを確認する）		* 公民館に詳しい人がチェックする（wiki入力済みデータを確認する）

Yegusa: /* 既存のリストをプログラムで一括してwikiへ */ 英語項目などを追加

2011-04-18T08:07:31Z

既存のリストをプログラムで一括してwikiへ: 英語項目などを追加

← 古い版		2011年4月18日 (月) 17:07時点における版
8行目:		8行目:
	== 既存のリストをプログラムで一括してwikiへ ==		== 既存のリストをプログラムで一括してwikiへ ==

	* [http://shelter-info.appspot.com/maps Google 避難所情報]~~から最新のcvsファイルをすべてダウンロードする~~		* 以下の[http://shelter-info.appspot.com/maps Google 避難所情報]の元データ配布場所から最新のcvsファイルをダウンロードする
	**~~aomori~~.~~csv, iwate~~.~~csvと名付けていく~~		** [http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0 一括ダウンロード]から、File -> Export でcsvファイルとしてダウンロードできる
	* csvを加工し、一括変換用のファイルを作る		* csvを加工し、一括変換用のファイルを作る
	*~~すべてをくっつける：cat .csv > all.txt~~		**'''データに改行'''がはいっている。改行に対応したパーサを使うこと
	**改行のおかしなものをとりのぞく（人手チェック必要、perl -i.org -pe '~~s/\n//g~~' ~~all.txt　でもできるかも？　）~~		**「公民館」が入っているものだけをとりだす
	***データに改行がはいっているものがあるので、おかしなcsvになっているため。		* プログラムで一括wikiへテスト入力（テストサーバに入れる？）
	**「公民館」が入っているものだけをとりだす ~~(grep 公民館　all.txt > kominkan.txt)~~		* 公民館に詳しい人がチェックする（wiki入力済みデータを確認する）
	* ~~公民館に詳しい人がチェックする~~		* OKなら本番サーバにいれる。
	* ~~プログラムで一括wiki入力~~
	* ~~wiki入力済みデータを確認する~~

	※当初、上田先生が作られたりすとからということでしたが、どうやら、		※当初、上田先生が作られたりすとからということでしたが、どうやら、
28行目:		26行目:
	※　これは架空の例です。（一部、本当の例も使っています）		※　これは架空の例です。（一部、本当の例も使っています）
	{\| border="1"		{\| border="1"
	! 列名 !! Google 項目名 !! 変換後の項目 !! 必須? !! ~~具体例~~		! 列名 !! Google 項目名 !! 英語項目名 !! 変換後の項目 !! 必須? !! 具体例1 !!具体例2
	\|-		\|-
	\| A列 \|\| 都道府県 \|\| 都道府県 \|\|必ずある\|\| 岩手県		\| A列 \|\| 都道府県 \|\|Prefecture \|\| 都道府県 \|\|必ずある\|\| 岩手県\|\|福島県
	\|-		\|-
	\| B列 \|\| 市区町村 \|\| 名称　\|\| 必ずある\|\| 一関市		\| B列 \|\| 市区町村 \|\| City\|\| 名称　\|\| 必ずある\|\| 一関市\|\|伊達郡川俣町
	\|-		\|-
	\| C列 \|\| 住所詳細 \|\| 所在地 \|\| if あれば\|\| 一関市青葉2丁目4－5		\| C列 \|\| 住所詳細 \|\|District \|\| 所在地 \|\| if あれば\|\| 一関市青葉2丁目4－5\|\|大字小島字町畑8-1/
	\|-		\|-
	\| D列 \|\| 避難所名称 \|\| 名称 \|\| 必ずある\|\| 山目公民館		\| D列 \|\| 避難所名称 \|\| Name\|\| 名称 \|\| 必ずある\|\| 山目公民館\|\|旧おじま小（おじまふるさと交流館）
	\|-		\|-
	\| E列 \|\| 避難人数 \|\| その他 \|\| if あれば\|\| 19		\| E列 \|\| 避難人数 \|\|Population \|\| その他 \|\| if あれば\|\| 19\|\|51
	\|-		\|-
	\| F列 \|\| 最大収容人数 \|\| 避難受入規模\|\| if あれば\|\| 25		\| F列 \|\| 最大収容人数 \|\|Capacity \|\| 避難受入規模\|\| if あれば\|\| 25\|\|950
	\|-		\|-
	\| G列 \|\| 更新日時 \|\| 情報源 \|\| 必ずある\|\| 2011/4/14 17:14		\| G列 \|\| 更新日時 \|\|Updated \|\| 情報源 \|\| 必ずある\|\| 2011/4/14 17:14\|\|4月13日 16:39
	\|-		\|-
	\| H列 \|\| 備考 \|\| その他 \|\| if あれば\|\| 市外避難者あり		\| H列 \|\| 備考 \|\| Notes\|\| その他 \|\| if あれば\|\| 市外避難者あり\|\|電話番号: 024-566-3297
	\|-		\|-
	\| I列 \|\| 情報源 \|\| 情報源 \|\| if あれば\|\| 岩手県災害対策本部		\| I列 \|\| 情報源 \|\|Source \|\| 情報源 \|\| if あれば\|\| 岩手県災害対策本部\|\|福島県災害対策本部による
	\|-		\|-
	\| J列 \|\| 緯度経度 (推定) \|\| 緯度経度 \|\| if あれば\|\| 38.931480,141.126602		\| J列 \|\| 緯度経度 (推定) \|\|LatLng \|\| 緯度経度 \|\| if あれば\|\| 38.931480,141.126602\|\|37.697359,140.608239
			\|-
			\| K列 \|\| - \|\|Color \|\| - \|\| if あれば\|\| \|\|measle_turquoise
	\|-		\|-
	\|}		\|}
78行目:		78行目:
	\| 避難受入規模=最大収容人数：<<最大収容人数>>人 if あれば		\| 避難受入規模=最大収容人数：<<最大収容人数>>人 if あれば
	\| その他=避難者：<<避難者人数>>人 if あれば, <<備考>> if あれば		\| その他=避難者：<<避難者人数>>人 if あれば, <<備考>> if あれば
	\| 記入者=[[利用者:Yegusa\|Yegusa]]		\| 記入者=<nowiki>[[利用者:Yegusa\|Yegusa]]</nowiki>
	\| 元情報=[http://~~shelter-info~~.~~appspot~~.com/~~maps~~ Google 避難所情報](更新日:<<更新日時>>),<<情報源>> if あれば		\| 元情報=<nowiki>[http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0 Google 避難所情報]</nowiki>(更新日:<<更新日時>>),<<情報源>> if あれば
	}}		}}

107行目:		107行目:
	\| 避難受入規模=最大収容人数：25人		\| 避難受入規模=最大収容人数：25人
	\| その他=避難者：19人, 市外避難者あり		\| その他=避難者：19人, 市外避難者あり
	\| 記入者=[[利用者:Yegusa\|Yegusa]]		\| 記入者=<nowiki>[[利用者:Yegusa\|Yegusa]]</nowiki>
	\| 元情報=[http://~~shelter-info~~.~~appspot~~.com/~~maps~~ Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部		\| 元情報=<nowiki>[http://www.google.com/fusiontables/DataSource?dsrcid=672977&search&cd=0 Google 避難所情報]</nowiki>(更新日:2011/4/14 17:14),岩手県災害対策本部
	}}		}}

Yegusa: /* 移行フォーマット */ サンプル追加

2011-04-18T07:20:10Z

移行フォーマット: サンプル追加

← 古い版		2011年4月18日 (月) 16:20時点における版
110行目:		110行目:
	\| 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部		\| 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部
	}}		}}

			表示結果→[[利用者:Yegusa/公民館移行データサンプル\|サンプルへ]]

	== 調査票からwikiに入力する ==		== 調査票からwikiに入力する ==

Yegusa: /* 移行フォーマット */ 表形式に変更、具体例を追加

2011-04-18T07:16:33Z

移行フォーマット: 表形式に変更、具体例を追加

← 古い版		2011年4月18日 (月) 16:16時点における版
26行目:		26行目:
	=== 移行フォーマット ===		=== 移行フォーマット ===

	* Googleのデータ項目　---> 変換後の項目		※　これは架空の例です。（一部、本当の例も使っています）
	* A列：都道府県 ---~~> 都道府県（必ずあるはず）~~		{\| border="1"
	* B列：市区町村 ---> 名称　~~(必ずあるはず)~~		! 列名 !! Google 項目名 !! 変換後の項目 !! 必須? !! 具体例
	* C列：住所詳細 -~~--> 所在地　if~~ あれば		\|-
	* D列：避難所名称 -~~-->~~ 名称 ~~(必ずあるはず)~~		\| A列 \|\| 都道府県 \|\| 都道府県 \|\|必ずある\|\| 岩手県
	* E列：避難人数 -~~--> その他　if~~ あれば		\|-
	* F列：最大収容人数 -~~-->~~ 避難受入規模 if あれば		\| B列 \|\| 市区町村 \|\| 名称　\|\| 必ずある\|\| 一関市
	* G列：更新日時 ---~~> 情報源　(必ずあるはず)~~		\|-
	* H列：備考 ---> その他　if あれば		\| C列 \|\| 住所詳細 \|\| 所在地 \|\| if あれば\|\| 一関市青葉2丁目4－5
	* I列：情報源 --~~-> 情報源　if あれば~~		\|-
	* J列：緯度経度 (推定) ---> ~~緯度経度~~ if あれば		\| D列 \|\| 避難所名称 \|\| 名称 \|\| 必ずある\|\| 山目公民館
			\|-
			\| E列 \|\| 避難人数 \|\| その他 \|\| if あれば\|\| 19
			\|-
			\| F列 \|\| 最大収容人数 \|\| 避難受入規模\|\| if あれば\|\| 25
			\|-
			\| G列 \|\| 更新日時 \|\| 情報源 \|\| 必ずある\|\| 2011/4/14 17:14
			\|-
			\| H列 \|\| 備考 \|\| その他 \|\| if あれば\|\| 市外避難者あり
			\|-
			\| I列 \|\| 情報源 \|\| 情報源 \|\| if あれば\|\| 岩手県災害対策本部
			\|-
			\| J列 \|\| 緯度経度 (推定) \|\| 緯度経度 \|\| if あれば\|\| 38.931480,141.126602
			\|-
			\|}

			*'''<< >>''' で囲まれた部分がもともとGoogle避難所の項目名のデータを示す。
			*'''if あれば'''は、データが入っていない項目の場合は、データが入っていればということを示す。

	*<< >> で囲まれた部分がもともとGoogle避難所の項目名のデータを示す。
	*if あればは、データが入っていない項目の場合は、データが入っていればということを示す。
	<nowiki>{{subst</nowiki>:新規施設		<nowiki>{{subst</nowiki>:新規施設
	\| 名称=<<市区町村>><<避難所名称>>		\| 名称=<<市区町村>><<避難所名称>>
90行目:		105行目:
	\| 救援状況=		\| 救援状況=
	\| 避難受入情報=		\| 避難受入情報=
	\| 避難受入規模=		\| 避難受入規模=最大収容人数：25人
	\| その他=避難者：19人		\| その他=避難者：19人, 市外避難者あり
	\| 記入者=[[利用者:Yegusa\|Yegusa]]		\| 記入者=[[利用者:Yegusa\|Yegusa]]
	\| 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部		\| 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部

Yegusa: /* 既存のリストをプログラムで一括してwikiへ */ 上田先生のデータをつかわずgoogleのデータを使うことについて説明追加

2011-04-18T06:57:18Z

既存のリストをプログラムで一括してwikiへ: 上田先生のデータをつかわずgoogleのデータを使うことについて説明追加

← 古い版		2011年4月18日 (月) 15:57時点における版
8行目:		8行目:
	== 既存のリストをプログラムで一括してwikiへ ==		== 既存のリストをプログラムで一括してwikiへ ==

	手順
	* [http://shelter-info.appspot.com/maps Google 避難所情報]から最新のcvsファイルをすべてダウンロードする		* [http://shelter-info.appspot.com/maps Google 避難所情報]から最新のcvsファイルをすべてダウンロードする
	**aomori.csv, iwate.csvと名付けていく		**aomori.csv, iwate.csvと名付けていく
19行目:		18行目:
	* プログラムで一括wiki入力		* プログラムで一括wiki入力
	* wiki入力済みデータを確認する		* wiki入力済みデータを確認する

			※当初、上田先生が作られたりすとからということでしたが、どうやら、
			上田先生のデータとは、[http://shelter-info.appspot.com/maps Google 避難所情報]から
			抜き出したデータであることがわかったため、直接、Google避難所サイトからダウンロードして
			一括入力することとしました。

	=== 移行フォーマット ===		=== 移行フォーマット ===

Yegusa: 準備中のものを追加

2011-04-18T06:52:09Z

準備中のものを追加

← 古い版		2011年4月18日 (月) 15:52時点における版
91行目:		91行目:
	\| 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部		\| 元情報=[http://shelter-info.appspot.com/maps Google 避難所情報](更新日:2011/4/14 17:14),岩手県災害対策本部
	}}		}}

			== 調査票からwikiに入力する ==

			準備中

	== 覚書 ==		== 覚書 ==

Yegusa: 変換後フォーマットと例を追加

2011-04-18T06:50:50Z

変換後フォーマットと例を追加

@@ 9行目: / 9行目: @@
 手順
-# google避難所サイトから最新のcvsファイルをダウンロードする
+* [http://shelter-info.appspot.com/maps Google 避難所情報]から最新のcvsファイルをすべてダウンロードする
-# csvを加工し、一括変換用のファイルを作る
+**aomori.csv, iwate.csvと名付けていく
-# 公民館に詳しい人がチェックする
+* csvを加工し、一括変換用のファイルを作る
-# プログラムで一括wiki入力
+**すべてをくっつける：cat *.csv > all.txt
-# wiki入力済みデータを確認する
+**改行のおかしなものをとりのぞく（人手チェック必要、perl -i.org -pe 's/\n//g' all.txt　でもできるかも？　）
 == 覚書 ==

Yegusa: 公民館のデータ入力の作成

2011-04-18T04:45:48Z

公民館のデータ入力の作成

新規ページ

==　手順 ==

大きくわけて2つのフェーズがある

* 既存のリストをプログラムで一括してwikiに入れる
* 調査票を公民館に配って、回収した紙の調査票からwikiに入力する

== 既存のリストをプログラムで一括してwikiへ ==

手順
# google避難所サイトから最新のcvsファイルをダウンロードする
# csvを加工し、一括変換用のファイルを作る
# 公民館に詳しい人がチェックする
# プログラムで一括wiki入力
# wiki入力済みデータを確認する

== 覚書 ==
公民館データの現状ですが、だいたい以下のとおりです。

- 現在、移行するようなデータはsavekominkanのサイト自体にはない
(そういう意味では、savelibrary, museun, archiveとは事情がことなる）
-ただし、上田先生が作られた公民館避難所リストをまずは、wikiに入力したい
-今後、紙の調査票を各公民館に配って（配り方は検討中）、記入してもらい、
それを回収して、ボランティアが入力するモデルを考え中
（入力ボランティアにはあてがある）（まだ、調査票を配っていない段階である）
（紙じゃなくて、メールとか、Excelとかにしようかそのへんも検討中）
-被災地の公民館だけではなく、非被災地の公民館で受入体制についての調査票の配布と回収も検討中で、そのような非被災地、受け入れ情報のみがある公民館もでてくるとおもう

そこで、まず、saveMLAKにどうKをもってくるかは、短期的には、
大きく分けて、2つの作業があると思います。

a) 既存のリスト(上田先生がつくられたというExcelのデータ)をプログラムで一括置換してwikiに入れる
b) 調査票を公民館に配って、回収した紙の調査票からwikiに入力する
（bについては、紙ではなく、メールなどといった方法もあり、いろいろ検討することがある）

以下、詳細です。

a) 既存のリスト(上田先生がつくられたというExcelのデータ)をプログラムで一括置換してwikiに入れる

これは、神代さんがメールで送付してくださった、避難所リストのことです。
こちらは、プログラムで一括でいれましょう。

b) 調査票を公民館に配って、回収した調査票からwikiに入れる

b) ですが、昨日の打ち合わせでは、いったんExcelにしてそれからwikiにいれようか
と話がすすみました。(wiki入力は敷居がたかく、Excelならなんとかなるかもという理由からです。)

私も、その時は、それが良いと思ったのですが、
高久さんと議論してみたのですが、
どうせ、調査票からExcelに入力するのでしたら、
wikiに直接いれたほうがよいという結論になりました。

というのも、中間的にExcelのファイルに入力すると、どうしても、
どれが最新かわからないなど、なんどもいきつもどりつする、
コミュニケーションコストがかかるという問題が発生してくるからです。

いったん回収した紙の調査票を、特定の人がwikiの入力するのであれば、
最初、やり方を覚えるまでは、すこしかかるかもしれませんが、
いったん、習熟すれば、それほど難しくありませんので、
その作戦がありかもなと。
どちらにしろ、いろいろつめないといけないことがありそうです。

とりあえず、まずは、a)　のほうをすすめようと思います。
a) と b)を同時にやるとわけがわからなくなるので。

a) が終われば、公民館のデータがある程度入って、
実績ができるので、被災地の公民館の人も、やろうかなという
気になるのでよいのでは、という神代さんの意見もありますし、
さっさとa)のほうの作業を進めようと思います。

まずは、
1.江草が、上田Excelリストから、wikiのデータに移すサンプルを作成
（Re: [saveMLAK:934] 公民館の情報　に添付してあったものです）
2.慶野さんが、カテゴリ名などをチェック
3.高久さんがプログラムを作成、wikiに変換

といった流れでやろうと思います。