tito Memo(2004-04-14)

2004-04-14

* 巨大ファイルからの検索

ファイル一覧を Windows XPのコマンドラインで作る。

cacls . /c /t

とするとカレントディレクトリ以下のファイル/フォルダ一覧を出力する。もとはアクセスコントロールの設定をするためのコマンドだけど。

cacls . /c /c > filelist.txt

こうして出来た filelist.txt が70Mほどになる。これをgrepで検索する時間は手元のノートX24+VMware上のlinuxで計ると

$ time grep patt filelist.txt >/dev/null
0.00user 1.16system 0:07.09elapsed 16%CPU (0avgtext+0avgdata 0maxresident)k
0inputs+0outputs (18579major+27minor)pagefaults 0swaps

7秒ぐらいならまぁ我慢できないほどではない。でももっと速い方法を試したい。

* 一つのファイルに対するキーワード検索が速い suffix array の実装の一つであるSary: Suffix Arrayのライブラリとツールを試す。

cvs版はビルドにくじけたので安定版を使う。本体は無事インストールできたがperl用のバインディングである Search-Saryer-0.10.tar.gz　ではまる。

$ perl Makefile.pl
$ make

するとincludeファイルが見つからないというので

*** Makefile    Wed Apr 14 08:41:17 2004
--- /home/tito/sary-perl-Makefile       Wed Apr 14 08:16:03 2004
***************
*** 93,99 ****
  PARENT_NAME = Search
  DLBASE = $(BASEEXT)
  VERSION_FROM = Saryer.pm
! INC = 
  OBJECT = $(BASEEXT)$(OBJ_EXT)
  LDFROM = $(OBJECT)
  LINKTYPE = dynamic
--- 93,99 ----
  PARENT_NAME = Search
  DLBASE = $(BASEEXT)
  VERSION_FROM = Saryer.pm
! INC = -I/usr/include/glib-1.2 -I/usr/lib/glib/include -I/usr/local/include/sary
  OBJECT = $(BASEEXT)$(OBJ_EXT)
  LDFROM = $(OBJECT)
  LINKTYPE = dynamic

のMakefileの修正をしてmakeするとビルドは通る。しかしmake testで100%失敗する。なぜだ！詳細

$ make
cc -c -I/usr/include/glib-1.2 -I/usr/lib/glib/include -I/usr/local/include/sary -Dbool=char -DHAS_BOOL -I/usr/local/include -O2    -DVERSION=\"0.10\" -DXS_VERSION=\"0.10\" -fpic -I/usr/lib/perl5/5.00503/i386-linux/CORE  Saryer.c
Running Mkbootstrap for Search::Saryer ()
chmod 644 Saryer.bs
LD_RUN_PATH="" cc -o blib/arch/auto/Search/Saryer/Saryer.so  -shared -L/usr/local/lib Saryer.o     
chmod 755 blib/arch/auto/Search/Saryer/Saryer.so
cp Saryer.bs blib/arch/auto/Search/Saryer/Saryer.bs
chmod 644 blib/arch/auto/Search/Saryer/Saryer.bs
Manifying blib/man3/Search::Saryer.3
[tito@irle Search-Saryer-0.10]$ make test
PERL_DL_NONLAZY=1 /usr/bin/perl -Iblib/arch -Iblib/lib -I/usr/lib/perl5/5.00503/i386-linux -I/usr/lib/perl5/5.00503 -e 'use Test::Harness qw(&runtests $verbose); $verbose=0; runtests @ARGV;' t/*.t
t/01-new-destroy......Can't load 'blib/arch/auto/Search/Saryer/Saryer.so' for module Search::Saryer: blib/arch/auto/Search/Saryer/Saryer.so: undefined symbol: saryer_search at /usr/lib/perl5/5.00503/i386-linux/DynaLoader.pm line 169.
 
 at t/01-new-destroy.t line 9
BEGIN failed--compilation aborted at t/01-new-destroy.t line 9.
 
t/01-new-destroy......dubious
	Test returned status 255 (wstat 65280, 0xff00)
DIED. FAILED tests 1-2
	Failed 2/2 tests, 0.00% okay
t/02-search-get.......Can't load 'blib/arch/auto/Search/Saryer/Saryer.so' for module Search::Saryer: blib/arch/auto/Search/Saryer/Saryer.so: undefined symbol: saryer_search at /usr/lib/perl5/5.00503/i386-linux/DynaLoader.pm line 169.
 
 at t/02-search-get.t line 9
BEGIN failed--compilation aborted at t/02-search-get.t line 9.
         
t/02-search-get.......dubious
	Test returned status 255 (wstat 65280, 0xff00)
DIED. FAILED tests 1-3
	Failed 3/3 tests, 0.00% okay
t/03-isearch-get......Can't load 'blib/arch/auto/Search/Saryer/Saryer.so' for module Search::Saryer: blib/arch/auto/Search/Saryer/Saryer.so: undefined symbol: saryer_search at /usr/lib/perl5/5.00503/i386-linux/DynaLoader.pm line 169.
 
 at t/03-isearch-get.t line 9
BEGIN failed--compilation aborted at t/03-isearch-get.t line 9.
 
t/03-isearch-get......dubious
	Test returned status 255 (wstat 65280, 0xff00)
DIED. FAILED tests 1-3
	Failed 3/3 tests, 0.00% okay
t/04-context-lines....Can't load 'blib/arch/auto/Search/Saryer/Saryer.so' for module Search::Saryer: blib/arch/auto/Search/Saryer/Saryer.so: undefined symbol: saryer_search at /usr/lib/perl5/5.00503/i386-linux/DynaLoader.pm line 169.
 
 at t/04-context-lines.t line 9
BEGIN failed--compilation aborted at t/04-context-lines.t line 9.
 
t/04-context-lines....dubious
	Test returned status 255 (wstat 65280, 0xff00)
DIED. FAILED tests 1-3
	Failed 3/3 tests, 0.00% okay
t/05-tagged-region....Can't load 'blib/arch/auto/Search/Saryer/Saryer.so' for module Search::Saryer: blib/arch/auto/Search/Saryer/Saryer.so: undefined symbol: saryer_search at /usr/lib/perl5/5.00503/i386-linux/DynaLoader.pm line 169.
 
 at t/05-tagged-region.t line 9
BEGIN failed--compilation aborted at t/05-tagged-region.t line 9.
 
t/05-tagged-region....dubious
	Test returned status 255 (wstat 65280, 0xff00)
DIED. FAILED tests 1-3
	Failed 3/3 tests, 0.00% okay
Failed Test          Stat Wstat Total Fail  Failed  List of Failed
-------------------------------------------------------------------------------
t/01-new-destroy.t    255 65280     2    2 100.00%  1-2
t/02-search-get.t     255 65280     3    3 100.00%  1-3
t/03-isearch-get.t    255 65280     3    3 100.00%  1-3
t/04-context-lines.t  255 65280     3    3 100.00%  1-3
t/05-tagged-region.t  255 65280     3    3 100.00%  1-3
Failed 5/5 test scripts, 0.00% okay. 14/14 subtests failed, 0.00% okay.
make: *** [test_dynamic] エラー 11

[ツッコミを入れる]

本日のTrackBacks(全1件) []

_ tito Memo (2004-05-13 02:03)

Search-Saryerがインストールできなかったのはsaryをmake installしてなかったから
というオチでした。