dbsql

今回は、こんなデータを与えてみる。オイラーのパソコン遍歴の一部だ。

create table pc(mypc text, year integer);
insert into pc(mypc,year) values('MZ80K', 1979);
insert into pc(mypc,year) values('FM-11', 1983);
insert into pc(mypc,year) values('Macintosh SE', 1989);

起動する時、rlwrapをかませておくと、ヒストリーが使えて便利。

vbox$ rlwrap dbsql pc.db
dbsql> .headers on
dbsql> select * from pc;
mypc|year
MZ80K|1979
FM-11|1983
dbsql> insert into pc(mypc,year) values('Macintosh SE', 1989);
dbsql> select * from pc where year > 1980;
mypc|year
FM-11|1983
Macintosh SE|1989
dbsql> select * from pc where year < 1980;
mypc|year
MZ80K|1979

vbox$ ls -l pc.db*
-rw-r-----  1 sakae  wheel  32768 Mar 25 15:42 pc.db

pc.db-journal:
total 4516
-rw-r-----  1 sakae  wheel  3211264 Mar 25 15:42 __db.001
-rw-r-----  1 sakae  wheel   163840 Mar 25 15:42 __db.002
-rw-r-----  1 sakae  wheel    90112 Mar 25 15:42 __db.003
-rw-r-----  1 sakae  wheel       25 Mar 25 15:42 __db.register
-rw-r-----  1 sakae  wheel  2097152 Mar 25 15:42 log.0000000001
-rw-r--r--  1 sakae  wheel      117 Mar 25 15:19 sql-errors.txt

なんとオマケっぽい、ジャーナルdirが作成されて、その中に、色々なものが 格納されてる。多分削除しちゃっても動くんではなかろうか？ 動いた。

dbsql> .explain on
dbsql> select * from pc;
mypc  year
----  -------------
MZ80K  1979
FM-11  1983
Macintosh SE  1989

ヘッダー宜しく、列の説明が付いた。

dbsql> .stat :env:
Statistics for environment
Sat Mar 25 15:53:47 2023        Local time
=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Default database environment information:
0x120897        Magic number
0       Panic value
5.3.28  Environment version
9       Btree version
9       Hash version
1       Lock version
19      Log version
4       Queue version
2       Sequence version
1       Txn version
:
0x3df06000      DB_ENV
4       ENV handle mutex [0/12 0% !Own]
/tmp/pc.db-journal      Home
DB_CREATE, DB_FORCE, DB_INIT_LOCK, DB_INIT_LOG, DB_INIT_MPOOL, DB_INIT_TXN, DB_R
DONLY, DB_THREAD, DB_TXN_NOSYNC Open flags
0660    Mode
56486   Pid cache
!Set    Lockfhp
!Set    Locker
 Set    Internal recovery table
240     Number of recovery table slots
:
=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Primary REGINFO information:
Environment     Region type
1       Region ID
/tmp/pc.db-journal/__db.001     Region name
0x61030000      Region address
:
=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Environment file handle information
/tmp/pc.db-journal/__db.register        file-handle.file name
0       file-handle.mutex [!Set]
0       file-handle.reference count
:
/tmp/pc.db-journal/__db.002     file-handle.file name
0       file-handle.mutex [!Set]
0       file-handle.reference count
:
/tmp/pc.db-journal/__db.003     file-handle.file name
0       file-handle.mutex [!Set]
0       file-handle.reference count
:
/tmp/pc.db-journal/../pc.db     file-handle.file name
1095    file-handle.mutex [0/0 0% !Own]
4       file-handle.reference count
:

この他に、.stat pc ってな具合に指定して、テーブルの情報も引きだせる。 意味はよく分からないけど。。

タイマーで実行時間も計測できます。

dbsql> .timer  on
dbsql> select count(*) from bld;
8155
CPU Time: user 0.060090 sys 0.087353
dbsql> select count(*) from bld;
8155
CPU Time: user 0.006173 sys 0.020307
dbsql> select avg(ppm) from bld;
58.1648068669528
CPU Time: user 0.008309 sys 0.023798

.import FILE TABLE     Import data from FILE into TABLE

こんなメタコマンドが用意されてる。ファイルの形式は何の説明もないけど、 多分あれでしょう。そして昔やったsqlite3に習ってみると。

dbsql> .import bld.csv bld
Error: no such table: bld
dbsql> create table bld(ymd text, hi text, low text, ppm text);
dbsql> .import bld.csv bld
Error: bld.csv line 1: expected 4 columns of data but found 1
dbsql> .import bldsp bld
Error: bldsp line 1: expected 4 columns of data but found 1

カンマ区切りだ駄目ならスペース区切り、でも駄目だわさ。後はタブ区切り？

shell.c

1686  if( c=='i' && strncmp(azArg[0], "import", n)==0 && nArg==3 ){
1687    char *zTable = azArg[2];    /* Insert data into this table */
1688    char *zFile = azArg[1];     /* The file from which to extract data */
1689    sqlite3_stmt *pStmt = NULL; /* A statement */

このあたりにBPかなあ、なんて思っていたら、こんな案内を発見。

".separator STRING      Change separator used by output mode and .import\n"

やってみる。

dbsql> .separator ','
dbsql> .import bld.csv bld
dbsql> select * from bld limit 3;
12010104,118,73,57
12010121,109,70,71
12010204,128,82,60

デケタ。

やっぱりgdbだよな。 初回は、色々やるので大変。

#0  sqlite3VdbeExec (p=0x209cb0e8) at ../lang/sql/generated/sqlite3.c:53487
#1  0x0048e227 in sqlite3Step (p=0x209cb0e8)
    at ../lang/sql/generated/sqlite3.c:51781
#2  0x0048ddfd in sqlite3_step (pStmt=0x209cb0e8)
    at ../lang/sql/generated/sqlite3.c:51846
#3  0x00492dc8 in sqlite3_exec (db=0x20954008,
    zSql=0x20991cc8 "SELECT name, rootpage, sql FROM 'main'.sqlite_master ORDER BY rowid", xCallback=0x4c2ec0 <sqlite3InitCallback>, pArg=0xffbfda20,
    pzErrMsg=0x0) at ../lang/sql/generated/sqlite3.c:77454
:
#18 0x00493d81 in sqlite3_prepare_v2 (db=0x20954008,
    zSql=0x20953100 "select * from pc;", nBytes=-1, ppStmt=0xffbfe09c,
    pzTail=0xffbfe094) at ../lang/sql/generated/sqlite3.c:80916
#19 0x0046e655 in shell_exec (db=0x20954008,
    zSql=0x20953100 "select * from pc;", xCallback=0x46ea20 <shell_callback>,
    pArg=0xffbfe1c8, pzErrMsg=0xffbfe14c)
    at ../lang/sql/sqlite/src/shell.c:1092
#20 0x0046fd86 in process_input (p=0xffbfe1c8, in=0x0)
    at ../lang/sql/sqlite/src/shell.c:2515
#21 0x0046aa8f in main (argc=2, argv=0xffbfeb3c)
    at ../lang/sql/sqlite/src/shell.c:2946

こちらが本筋。

#0  sqlite3VdbeExec (p=0x209cb2a8) at ../lang/sql/generated/sqlite3.c:53487
#1  0x0048e227 in sqlite3Step (p=0x209cb2a8)
    at ../lang/sql/generated/sqlite3.c:51781
#2  0x0048ddfd in sqlite3_step (pStmt=0x209cb2a8)
    at ../lang/sql/generated/sqlite3.c:51846
#3  0x0046e756 in shell_exec (db=0x20954008,
    zSql=0x20953100 "select * from pc;", xCallback=0x46ea20 <shell_callback>,
    pArg=0xffbfe1c8, pzErrMsg=0xffbfe14c)
    at ../lang/sql/sqlite/src/shell.c:1120
#4  0x0046fd86 in process_input (p=0xffbfe1c8, in=0x0)
    at ../lang/sql/sqlite/src/shell.c:2515
#5  0x0046aa8f in main (argc=2, argv=0xffbfeb3c)
    at ../lang/sql/sqlite/src/shell.c:2946

コンパイルのログから、dbsqlqが構築される様子をぬきだした。

ar cr libdb_sql-5.3.a sqlite3.o db185.o mut_tas.o mut_pthread.o  ...
libtool: link: cc -g -o dbsql -pthread shell.o  libdb_sql-5.3.a -ldl -lpthread -pthread

核になるのは、リンクしてる物。何が違うかと調べたら。sqlite3のライブラ リィの有無だけだった。

[sakae@fb /tmp]$ diff DD SS
3c3,4
< libdb-5.3.a
---
> libdb_sql-5.3.a
> sqlite3.o

sqlite3.c/openDatabase()

/*
** Berkley DB customization!
** Register any Berkeley DB specific extension functions.
*/
add_sequence_functions(db);
/* End Berkeley DB customization. */

独自の拡張をやってるんだな。

int add_sequence_functions(sqlite3 *db)
{
        int rc;
        rc = sqlite3CreateFunc(db, "create_sequence", -1, SQLITE_ANY, 0,
            db_seq_create_func, 0, 0, 0);
        rc = sqlite3CreateFunc(db, "drop_sequence", -1, SQLITE_ANY, 0,
            db_seq_drop_func, 0, 0, 0);
        rc = sqlite3CreateFunc(db, "nextval", 1, SQLITE_ANY, 0,
            db_seq_nextval_func, 0, 0, 0);
        rc = sqlite3CreateFunc(db, "currval", 1, SQLITE_ANY, 0,
            db_seq_currval_func, 0, 0, 0);
        return (rc);
}

パーサーまで手を入れているんで、大変な事ですよ。

何で調べたかと言うと、bdbは既に優れたB木のシステムを持っている。ならば、 これを有効利用して、パーサーまでの部分をsqlite3から借用したものと想像 してたからだ。

Architecture of SQLite そう、この図のバックエンド部をバークレーDBが担 当してると思っていたのさ。どうやら違ったわい。なるべくsqliteを活用しま しょって方針なのね。

This year's Index

Home