20100914

FrontPage

wget オプション †

livedoor blogをクロールして保存。 年月で回すて記事を保存する。このオプションだとカテゴリ単位の記事までは取得しないであれだけど。あと月の記事が複数に分割されて ….html?p=2 ,….html?p=3 があるとそれを見に行かない。どうしよう。p=$pageでも回すか。

for i in 2008 2009 2010 ; do for m in seq 01 02 03 04 05 06 07 08 09 10 11 12 ; do  wget -x -l 2 -p -N -k -H -D blog.livedoor.jp,livedoor.2.blogimg.jp,livedoor.blogimg.jp -I/XXX -A html,htm,jpg,css,png,gif,txt http://blog.livedoor.jp/XXX/archives/$i-$m.html ;done;done