locate (2)

ipadのアプリが更新されたんで、新しく出来ると案内が出てきた。よくある風景。

じゃアップデートするか。updateボタンをクリックしたら、暫くして、HDD？SDD の容量不足でアップデート出来ませんとか言ってきた。

設定、一般、ストレージとiCloudの確認画面で、残り容量を確認してくださいってさ。普段、そんなの気にした事無いぞ。言われた通りに、容量確認したら、残りが1Gを切ってた。

おかしいなあ、容量を喰いそうなのは入っていないはずなのに。容量を喰うのは AV系と心得ている。音系と画像系ね。音楽も聴かないし、動画を溜める事も無いし、ましてや写真を撮る事も無いから。。

アプルの偉い所は、残りDisk容量を報告するとともに、アプリが抱え込んでいるデータも含めて、アプリ毎の使用量を表示してくれるのね。それも、容量順に。

こういう親切な所は、無骨なOSじゃ決してやらないだろう。ユーザー心理を先回りしてくれてると思うぞ。

で、一番容量を喰ってるのは、女房御用達の某アプリ。4Gに膨れあがっていた。これを消せば、一気に4Gの空きが出来るな。でも、そんな事をしたらぶっ飛ばされそう。触らぬ神に祟り無しって言うから、消すのは次点のアプリからにした。

一応、消していいか女房に確認しながらね。ipadを手に入れた頃は、面白がって色々なアプリを入れたけど、その後さっぱり使っていないのが山積だったよ。それらを気前よく消して行く。そして、何とか3Gの空きを作った。これで、暫くは安泰だろう。

でも疑問が。女房が一番使ってる某アプリ。使ってるうちにごみを残すBugが内在してるっぽい。一番確かなのは、一度アプリを削除して、再インストールしてみる事。

アプリ毎の独立性を高める為、それぞれのアプリ領域内にデータエリアが内在してるはずなんで、アプリを消せば、データも削除されるはず。

その大事なアプリがストアに残っているか、ちと心配。危ない橋を渡るより、空きエリアを増やしたので、様子見という方向で、取りあえず決着させよう。

波風を立てること無いよね。

OpenBSD 6.0

「OpenBSD 6.0」が公開が予定通りに公開された。案内によると、Linuxのエミュレーションが、セキュリティーを理由に削除されたらしい。

強固にするには、どんな小さな穴でも塞いでおかないと、そこが最大の弱点になるからね。この時期、台風が猛威を振るっていて、堤防の決壊がよく話題になる。堤防の決壊と言うと、大雨で堤防が傷み、わずかに水が染み出した所を見つけ、そこに自分の手で蓋をして、決壊を防いだと言う逸話を思い出す。

勿論、大災害はそれだけでなく、溢れによっても発生する。 SYNフラッド攻撃に対抗するための処置も施されたらしい。SYNパケットの溢れによる対策って事で、これも洪水だろう。益々、強固になるOpenBSDでこの秋を乗り切りましょう。そうすれば、DDoS攻撃で、ネットが繋がりにくくなっています、なんて案内を見る事も少なくなるだろう。

攻撃が一巡したら、視察と称して、どんなOSを使ってたか調べてみるかな。あの場所とこの場所とその場所と、、、オイラーが定期巡回してる所が軒並みやられていたからね。

インストール中は、オイラーの所にも洪水攻撃の余波が回ってきた。 arm-none-eabi-gcc-linaroなんていう巨大なやつを落としている時、DLスピードが突然低下した。これは好機とばかり、pkg_addの挙動を観察。そしたら、pkg_add等が、

[ob: ~]$ file /usr/sbin/pkg*
/usr/sbin/pkg_add:        a /usr/bin/perl script text executable
/usr/sbin/pkg_check:      a /usr/bin/perl script text executable
/usr/sbin/pkg_create:     a /usr/bin/perl script text executable
/usr/sbin/pkg_delete:     a /usr/bin/perl script text executable
/usr/sbin/pkg_info:       a /usr/bin/perl script text executable
/usr/sbin/pkg_mklocatedb: a /usr/bin/perl script text executable
/usr/sbin/pkg_sign:       a /usr/bin/perl script text executable

こんな具合に皆perl製だった。実体は、pmになってて、/usr/libdata/perl5/OpenBSD に、58個も属が登録されてた。

OpenBSDは、デフォでperlが入っていたのね。 FreeBSDみたいに、積極的にPerlを排除していったのとは対照的だなあ。

ああ、perlと双璧を成すpythonは、デフォでは入っていないけど、gdbを入れると、それに釣られて入ってくる。2系ってのが、ちょっと気に障るな。

rubyはどうかと思って調べてみると、

 ruby-1.8.7.374p7.tgz                                  2.2M
 ruby-2.0.0.648p1.tgz                                  5.7M
 ruby-2.1.9p1.tgz                                      6.2M
 ruby-2.2.5p1.tgz                                      6.4M
 ruby-2.3.1p1.tgz                                      7.0M

こんな具合に、好きなの持ってて状態でした。2系でどんと容量が増えているのは、あの人のこだわりによるのかな？

こだわりと言えば、qemuが2.6になって、raspi2をサポートしました。今まで無かったのが不思議。ラズパイ財団の特許が切れたので、公式に解禁になったのでしょうかね？

ついでにgnuplotも入れた。わんさかとお供を伴ってやってきた。起動したら

set terminal unknow

なんていう不吉な事をぬかす。5.9で調べたら、x11って答えてきたんだけどね。セキュリティー的な理由で、x11なデバイスは使えないようにしてるの？ portsに有る、Makefileを調べてみるか。

BUILD_DEPENDS = emacs->=24:editors/emacs

FLAVORS =       no_cairo no_x11
.if ${FLAVOR:Mno_x11}
CONFIGURE_ARGS += --without-x \
                  --without-gd
.else
LIB_DEPENDS +=  converters/libiconv graphics/gd
WANTLIB +=      X11 fontconfig freetype gd iconv jpeg png tiff vpx
CONFIGURE_ARGS += --with-x
.endif

という設定になってた。設定をenableにして作り直し。インストールしようとしたら、pkg作りでエラー。しょうがないので、マニュアルで強引にインストール。

# make install
Making install in wxterminal
Making install in qtterminal
 .././install-sh -c -d '/usr/local/bin'
  /usr/bin/install -c gnuplot '/usr/local/bin'
 .././install-sh -c -d '/usr/local/libexec/gnuplot/4.6'
  /usr/bin/install -c gnuplot_x11 '/usr/local/libexec/gnuplot/4.6'

起動してみると、x11が出てきた。

plot sin(x)

とかするとDISPLAYが見当たらんとか言われたので、

export DISPLAY=WINDOWS7_IPAddr:0

とかやったら、やっとサイン波を拝めた。やれやれ。それにしても、以前は DISPLAY設定が必要無かったけど、今回から必要になったのは、テオ君の締め付けがきつくなったからだろな。これを設定しないと動かないって事は、以前は、開けっ広げな設定だったって事？

ワイルドカード

今回の表題、locate (2) って、unixに精通した人には誤解されそうだな。 locateっていうシステムコールが有ると思っちゃうから。

manのセクション２って、システムコールの説明だ。セクション１は、通常のユーザーが使うコマンドが載ってる。

同名のものが有ると、紛らわしいので、括弧を付けて、セクションを指示するのが、昔からの慣わしだから。と、年寄り臭い事を言っちゃった。

shellには、ワイルドカード（誤解を恐れず言えば、正規表現の一部）が用意されてる。 hoge* って、指定すれば、hogeの後ろに、どんな文字が来ても、マッチする。

ならば、* を単独で使った場合はどうか？前回、locateの検索で問題になったあれ

[ob: z]$ locate * | wc
   15699   15699  765951
[ob: z]$ cd
[ob: ~]$ locate * | wc
   94764   94764 4629968
[ob: ~]$ cd /tmp;  locate * | wc
       1       1      24
[ob: tmp]$ locate '*' | wc
  270802  270803 12166914

最初の実行は、自分のHOMEDIR内、次は、/tmpに移動しての実行、最後は、ワイルドカードの機能を殺した場合。

同じDBを検索してるはずなのに、三者三様の結果になった。ジョーカーの使い方は難しいのよと、悩むなかれ！

[ob: tmp]$ echo *
emacs1000 uscreens vi.recover
[ob: tmp]$ cd; echo *
CAT GZ OUT SICP forth hello src win xv6-armv7 z
[ob: ~]$ echo '*'
*

ワイルドカード文字が単独で与えられると、カレントdirをlsしたのと等価の働きをするのがshellの約束。シングルクォートでくくると、ジョーカーの意味を失い、文字そのものが、表示される。

BSDのlocateの統計情報

前回やった、どうだ凄いだろうと言う、統計情報。下記のようなデータを見せられても、何のこっちゃいなんで、意味を紐解いてみる。

[ob: ~]$ locate -S

Database: /var/db/locate.database
Compression: Front: 18.92%, Bigram: 55.23%, Total: 13.07%
Filenames: 258508, Characters: 11599699, Database size: 1516307
Bigram characters: 678782, Integers: 5691, 8-Bit characters: 0

元のDBの表面的な状態は下記。

[ob: ~]$ ls -l /var/db/locate.database
-r--r--r--  1 root  wheel  1516307 Sep  7 06:55 /var/db/locate.database

そんな開けっ広げで委員会？ locateのmanのBUGSに

     The locate database is built by user “nobody” using find(1).  This will
     skip directories which are not readable by user “nobody”, group “nobody”,
     or the world.  E.g., if your home directory is not world-readable, your
     files will not appear in the database.

こういう注意書きが有った。権利の弱い立場で、スキャンするよ。それで読めなかったものは飛ばすよ。言い換えれば、誰でも読んでいいってやつだけだかんね。だから、公開したくないやつは、Linuxみたいに壁を作っておけ。古き佳き習慣が息づいています。何処かの田舎の、家を留守にする時も鍵をかけない習慣。 Linuxは、都会風に、コンビニにちょっと出かける時もドアに鍵をかける習慣。隣は何をする人ぞってなっちゃったのね。

昔のunixは、隣の人から技を盗む共同社会だったからなあ、と、爺のたわ言。

この統計情報は、fastfind.cの中で定義されてました。数値がもろに表示されてるのは、そのままの意味なんで。パーセントで表示されるものに注目します。

        (void)printf("Compression: Front: %2.2f%%, ",
            (float)(100 * (size + big - (2 * NBG))) / chars);
        (void)printf("Bigram: %2.2f%%, ", (float)(100 * (size - big)) / size);
        (void)printf("Total: %2.2f%%\n",
            (float)(100 * (size - (2 * NBG))) / chars);

ここで、sizeは、DBファイルのサイズ、bigは、バイグラム文字数、NBGは128、 charは、印字文字数(バイグラムに属さない文字)って事になるかな。

オイラー的には、Frontの数値、18%が注目かな。findで検索した文字列を、2文字づつにぶった切った時、約5個に一つは、128種の組み合わせのどれかになるって事。

256種に拡張したらどうなるだろう？ロングテールの法則で、占有率は倍にはならないだろうね。

locate.code.c をちょっと見

余り変な所を見てもしょうがないので、code.cの部分を見ておく。

(gdb) b main
Breakpoint 1 at 0xb06: file locate.code.c, line 122.
(gdb) r bi.txt < fl.txt > z
Starting program: /tmp/locate.code bi.txt < fl.txt > z

Breakpoint 1, main (argc=2, argv=0xcf7c8f64) at locate.code.c:122

これ、emacs上からのターゲット起動。こんな風にリダイレクトも受け付けてくれるのね。

これは便利。emacs上でgdbを操作してる時、debug対象のプログラムから出力が有った場合、emacsが気を利かせて、表示用のwindowが出来て、そちらにカーソルが行ってしまう。その結果、gdb制御用windowsがHideされちゃう。それがいやで、gdbserverから対象プログラムを起動してた。が、OpenBSDには、 gdbserverなんていうのが用意されていないんだ。

リダイレクト出来るなら、

(gdb) r > /tmp/hoge

とかやっておいて

tail -f /tmp/hoge

こんな具合に監視すれば良い。何？それじゃ、対象プログラムに会話的な入力が出来ないじゃん。全くもってその通り。だけど、そういうプログラムを今までdebugする事はまれだったよ。その必要が有るなら、Linuxででも。。。。

                          if ((code = BGINDEX(cp)) != (bg_t)-1) {
                                  /*
                                   * print *one* as bigram
                                   * Found, so mark byte with
                                   *  parity bit.
                                   */
  =>                              if (putchar((code / 2) | PARITY) == EOF)
                                          err(1, "stdout");
                                  cp += 2;

ここが核心部分かな。文字列中にbigramが見つかると、その位置がcodeに代入される。それを２で割って、インデックス番号に直し、PARITYのﾋﾞｯﾄとORしてる。 PARITYって名前は、人を惑わすよなあ。せめてMSBとかって名前が良いぞ。 EOFって何って思って調べると、putcharの所に

RETURN VALUES
     The functions fputc(), putc(), and putchar() return the character
     written.  If an error occurs, the value EOF is returned and the global
     variable errno is set to indicate the error.

簡単にエラーを調べる方法にEOFと付き合せるとな。

下記は、bigramが見つかった時の状況。arってのは、頻出語って事ですな。

(gdb) p cp
$4 = (u_char *) 0x3680c842 <buf2+2> "ar/www/logs"
(gdb) p code
$5 = 132

[ob: src]$ dc
16 o
132 p
84
q

10進、16進の変換方法を忘れるので、メモしたぞ。そして、 hexdumpで調べてみると

00000080  6d 65 70 6c 61 72 6e 66  6c 6f 72 61 74 61 73 5f  |meplarnfloratas_|

確かに存在してた。なお、BGINDEXのマクロは、下記のような定義だった。

#define BGINDEX(x) (big[(u_char)*x][(u_char)*(x + 1)])

ここで参照される配列bigは、mainの中程で、下記のように初期化されている。

        for (i = 0; i < UCHAR_MAX + 1; i++)
                for (j = 0; j < UCHAR_MAX + 1; j++)
                        big[i][j] = (bg_t)-1;

        for (cp = bigrams, i = 0; *cp != '\0'; i += 2, cp += 2)
                big[(u_char)*cp][(u_char)*(cp + 1)] = (bg_t)i;

最初、全エリアに、-1を書く。次にbigramを2文字づつ使って、bigのインデックス番号とし、そこにbigram文字列位置を書いている。

こういう使い方って、暗号で出て来る換字表そのものだな。暗号のキーは、勿論bigramを構成する256分の文字列。

mlocate

Fedoraでupdatedbを実施すると、大概はすぐに実行が終了する。BSD系とは大違い。この差は何？

調べてみると、Fedoraが出た頃は、slocateってのが使われていた模様。頭文字のｓは、セキュリティーのｓらしい。それが、ある時期からｍに変わったとな。なんじゃい、そのｍってのは？

mlocateに説明が有った。

The 'm' stands for "merging": updatedb reuses the existing database to avoid 
rereading most of the file system,

へぇ、そんなに良い物なら、FreeBSDにも導入してやろう。取って来て、第一の難関のconfigureは無事に通過。コンパイルの段でエラーだよ。

mlocate/mlocate.db"' -DLOCALEDIR='"/home/sakae/MINE/share/locale"'  -DGROUPNAME='"mlocate"' -DUPDATEDB_CONF='"/home/sakae/MINE/etc/updatedb.conf"'   -g -O2  -Wall -W -Wcast-align -Wmissing-noreturn -Wpointer-arith -Wshadow -Wstrict-prototypes -Wwrite-strings -MT src/src_updatedb-updatedb.o -MD -MP -MF src/.deps/src_updatedb-updatedb.Tpo -c -o src/src_updatedb-updatedb.o `test -f 'src/updatedb.c' || echo './'`src/updatedb.c
src/updatedb.c:39:20: fatal error: mntent.h: No such file or directory
 #include <mntent.h>
                    ^
compilation terminated.
*** Error code 1

無いヘッダーファイルって、何方面なの？ getmntent使用例例によって、リナ専用っぽいな。

ざっとコードを見ると、src/updatedb.cの中の下記関数内で使われている事が判明。DBへの登録を除外するか否かの検出みたいだったので、除外はしないよ関数にして、逃げた。

/* Return true if PATH is a mount point of an excluded filesystem */
static bool
filesystem_is_excluded (const char *path)
{
  return false;
}

これで、コンパイル出来たんで、実行してみると、DISKにがたがたとアクセスしてて、最後に、

$ bin/updatedb
bin/updatedb: can not find group `mlocate'

こんなエラーで落ちた。グループを追加。一度logoutしてからloginし直し。こうしないと、グループが有効にならなかったはず。

再度、実行。そして、再度エラー(笑)

$ MINE/bin/updatedb
MINE/bin/updatedb: can not change group of file `/home/sakae/MINE/var/mlocate/mlocate.db.1b5032' to `mlocate': Operation not permitted

このエラーでピンときた。ソースを見なくても原因が分かった。グループにオイラーも混ぜて貰おう。

$ id
uid=1001(sakae) gid=0(wheel) groups=0(wheel),5(operator),61234(mlocate)
$ time MINE/bin/updatedb

real    6m37.84s
user    0m0.14s
sys     0m19.01s

どうやら、旨く行ったみたい。6分もかかっていて、実際に動いたのは、ほんのちょっとの時間って、Windows側がいじわるしてて、diskアクセスをさっさと進行させてくれないからだな。

$ MINE/bin/locate hoge
/usr/home/sakae/Lean/HS/hoge.hs
/usr/home/sakae/Lean/Scheme/CAL_FILE_Example/hoge.c
$ locate hoge
/usr/home/sakae/Lean/HS/hoge.hs
/usr/home/sakae/Lean/Scheme/CAL_FILE_Example/hoge.c

一応、動いてるっぽい。元々有った、BSD由来のものとも検索結果が一致したし。

それじゃ、マージの威力を確認するか。適当なファイルを作成してから、updatedb。その実行時間を計測。反映されたか、確認。

$ MINE/bin/locate zipzaptic
$ touch zipzaptic
$ time MINE/bin/updatedb

real    0m1.96s
user    0m0.05s
sys     0m1.85s
$ MINE/bin/locate zipzaptic
/usr/home/sakae/zipzaptic

ちゃんと反映されてるし、更新も、あっという間に終了って事で宜しいでしょうかね。

sakae@debian:~$ locate -S
Database /var/lib/mlocate/mlocate.db:
        13,933 directories
        134,565 files
        7,106,441 bytes in file names
        2,681,007 bytes used to store database

sakae@debian:~$ sudo ls -l /var/lib/mlocate/mlocate.db
-rw-r----- 1 root mlocate 2681007 Sep  7 14:28 /var/lib/mlocate/mlocate.db

mlocateにも統計情報が得られるオプションが有った。

折角なのでソースも見ておくか。で、開いてみたんだけど、何か落ち着かない。インデントは浅いし、GNU流のスタイルだし。ここは、慣れ親しんだBSD風に置き換えておくかな。

indent -bsd -i4 -br *.c