tito Memo(2006-10-11)

2006-10-11

* 内容が同じファイルをリンクでまとめるスクリプト

fision: 同一内容のファイルを単一 i-node にまとめる: uyota 匠の一手
ディスク領域を圧縮したつもりになれるスクリプト 18:55 - mputの日記。 (2006-03-30)
ようやく同じ事を考えてる人を見付けた 20:32 - mputの日記。 (2006-09-05)

昔NEWSサーバーのスプールを動かしたときにコピーの仕方を間違えて重複ファイルをいっぱい作ってしまったのを修正するプログラムを書いたことがある。ハッシュで比較+同じなら中身をcmpするのはmputさんと同じだ。ただ私のはエラーチェックしていない。どうせスプールだし一回限りのプログラムで結果を目で適当にチェックすればよかったから。

昔のプログラム(少なくとも2003-10-30以前)なんで今ならもうちょっと良い書き方をするだろうと言い訳しておく。md5を求めるのにmd5sumを呼び出していたりして効率悪すぎ。ディレクトリを辿るのにもいまなら File::Find と使う。

スクリプトを見る

 #!/usr/bin/perl
 
 dbmopen( %md5, "filemd5", 0644 ) || die "dbm cannot open";
 
 &traverse('.');
 
 dbmclose( %md5 );
 
 sub traverse {
     local($dir) = shift;
     local($path);
     unless (opendir(DIR, $dir)) {
 	warn "Can't open $dir\n";
 	closedir(DIR);
 	return;
     }
     foreach (readdir(DIR)) {
 	next if $_ eq '.' || $_ eq '..';
 	$path = "$dir/$_";
 	if (-d $path) {		# a directory
 	    &traverse($path);
 	} elsif (-f _) {	# a plain file
 	    # or do something you want to
 	    ($dev, $inode ) = stat( _ );
 	    ($sum) = `md5sum $path` =~ /^([a-f0-9]+)/;
 	    if( -z $path  ){
 		# file size 0 -- do nothing
 	    }
 	    elsif( defined $filemd5{ $sum } ){
 		($dev, $inode2 )= stat( $mayidentitcal = $filemd5{ $sum });
 		
 		if( $inode eq $inode2 ){
 		    print "$path $mayidentitcal is linked\n"
 		}
 		else{
 		    `cmp -s $path $mayidentitcal`;
 		    if( $? ){
 			print "$path $mayidentitcal has same sum but not ident\n";
 		    }
 		    else{
 			unlink( $path );
 			link( $mayidentitcal, $path );
 			print "ln $mayidentitcal $path\n";
 		    }
 		}
 	    }
 	    else
 	    {
 		$filemd5{ $sum }= $path;
 	    }
 
 	}
     }
     closedir(DIR);
 }

[ツッコミを入れる]

[]