pkg using sqlite

btree.[ch]が、自動作成されるみたい。ヘッダーの方を(本体に比べて短かい という理由で)覗いてみる。

 ** Field usage summary:
 **
 **               Table BTrees                   Index Btrees
 **
 **   pKey        always NULL                    encoded key
 **   nKey        the ROWID                      length of pKey
 **   pData       data                           not used
 **   aMem        not used                       decomposed key value
 **   nMem        not used                       entries in aMem
 **   nData       length of pData                not used
 **   nZero       extra zeros after pData        not used
 **
 ** This object is used to pass information into sqlite3BtreeInsert().

struct BtreePayload {
  const void *pKey;       /* Key content for indexes.  NULL for tables */
  sqlite3_int64 nKey;     /* Size of pKey for indexes.  PRIMARY KEY for tabs */
  const void *pData;      /* Data for tables. */
  sqlite3_value *aMem;    /* First of nMem value in the unpacked pKey */
  u16 nMem;               /* Number of aMem[] value.  Might be zero */
  int nData;              /* Size of pData.  0 if none. */
  int nZero;              /* Extra zero data appended after pData,nData */
};

テーブルで使う場合とインディクスで使う場合と、大谷みたいな起用のされか たをするんだな。

本体のbtree.c

#define NN 1             /* Number of neighbors on either side of pPage */
#define NB 3             /* (NN*2+1): Total pages involved in the balance */

typedef struct CellArray CellArray;
struct CellArray {
  int nCell;              /* Number of cells in apCell[] */
  MemPage *pRef;          /* Reference page */
  u8 **apCell;            /* All cells begin balanced */
  u16 *szCell;            /* Local size of all cells in apCell[] */
  u8 *apEnd[NB*2];        /* MemPage.aDataEnd values */
  int ixNx[NB*2];         /* Index of at which we move to the next apEnd[] */
};

なんか、奥村先生っぽい構造が出てきたな。

DBと言うか、データの集積場所が、こちらだ。関係がありそうな奴を見る。

[sakae@fb /var/db]$ ls -l pkg/
total 104580
-rw-r--r--  1 root  wheel       158 Mar 10 06:17 FreeBSD.meta
-rw-r--r--  1 root  wheel  50585600 Mar 12 05:22 local.sqlite
-rw-r--r--  1 root  wheel  48918528 Mar 10 06:17 repo-FreeBSD.sqlite
-rw-r--r--  1 root  wheel         0 Mar 12 05:22 repo-FreeBSD.sqlite-journal
-r--r--r--  1 root  wheel   7445436 Feb 23 05:57 vuln.xml
[sakae@fb /var/db]$ file pkg/local.sqlite
pkg/local.sqlite: SQLite 3.x database, user version 36, last written using SQLite version 3040000, file counter 5799, database pages 12350, 1st free page 8232, free pages 1047, cookie 0x58, schema 4, UTF-8, version-valid-for 5799

ファイル名でsqliteと名乗っているので、詐称してないか確認。確かに本物だ な。local.sqliteは多分、今このマシンにインストールされてるパッケージの 情報だろう。もう一つは、FreeBSDプロジェクトが提供してるパッケージの情 報だろう。ついでに、vuln.xmlも調べてみると、セキュリティー勧告用のデー タっぽかった。

これでpkgがsqlite3を使っている事が確定。次は、どう使っているかだな。

それには、ソースを見るのが一番。/usr/src/usr.sbin/pkgに突入する。きっ と、 sqlite3_open とかが、記載されているはず。

が、予想は大外れ。man pkgして列挙される、 pkg-info とかの片鱗すら見 付からない。あるのは、

static const char confirmation_message[] =
"The package management tool is not yet installed on your system.\n"
"Do you want to fetch and install it now? [y/N]: ";

とか、bootstrapって言うような文字列。そうか、本物をインストールするた めのコマンドなんだな。pkg自体がpkgになってるとな。 usr/posts/ports-mgmt 経由で、 freebsd/pkg at github に、行きついた。

実体は、

[sakae@fb ~]$ ls -l /usr/local/sbin/pkg*
-rwxr-xr-x  1 root  wheel   2695004 Jan  3 10:11 /usr/local/sbin/pkg*
-rwxr-xr-x  1 root  wheel  21973592 Jan  3 10:11 /usr/local/sbin/pkg-static*
-rwxr-xr-x  1 root  wheel  21803548 Jul  1  2021 /usr/local/sbin/pkg-static.pkgsave*

pkgなんでOSのリリースとは非同期でアップデート出来るとな。

[sakae@fb ~]$ ldd /usr/local/sbin/pkg
/usr/local/sbin/pkg:
        libelf.so.2 => /lib/libelf.so.2 (0x206a8000)
        libjail.so.1 => /lib/libjail.so.1 (0x206c4000)
        libssl.so.111 => /usr/lib/libssl.so.111 (0x206cc000)
        libcrypto.so.111 => /lib/libcrypto.so.111 (0x2074d000)
        libarchive.so.7 => /usr/lib/libarchive.so.7 (0x209bd000)
        libbz2.so.4 => /usr/lib/libbz2.so.4 (0x20a89000)
        libz.so.6 => /lib/libz.so.6 (0x20a9d000)
        liblzma.so.5 => /usr/lib/liblzma.so.5 (0x20ab7000)
        libprivatezstd.so.5 => /usr/lib/libprivatezstd.so.5 (0x20ae1000)
        libm.so.5 => /lib/libm.so.5 (0x20b91000)
        libutil.so.9 => /lib/libutil.so.9 (0x20bcd000)
        libmd.so.6 => /lib/libmd.so.6 (0x20be4000)
        libthr.so.3 => /lib/libthr.so.3 (0x20c08000)
        libc.so.7 => /lib/libc.so.7 (0x20c32000)
        libbsdxml.so.4 => /lib/libbsdxml.so.4 (0x20e04000)

あれ？ libsqliteを利用してないの？ いや多分埋没してるんでしょう。完全 に埋没させると、スタチィク版になるんだな。こうなると、 一応、証拠を固めておくか。

[sakae@fb ~]$ strings /usr/local/sbin/pkg | grep sqlite3_open
sqlite3_open_v2
sqlite3_open

後は、心おきなく、ソースを散策する。src/main.cはpkgコマンドのメイン。 installとかsearchとかは、サブコマンドになる。んで、例として、info.cを 題材にしてみる。

このファイル中には、 sqlite3_xxx なんてのは一切ない。レールの作りのよう にインピーダンス・マッチングしてるんだな。そのかわりに、

ret = pkgdb_access(PKGDB_MODE_READ, PKGDB_DB_LOCAL);

	ret = pkgdb_open(&db, PKGDB_DEFAULT);

       if ((it = pkgdb_query(db, pkgname, match)) == NULL) {

これを頼りに探してみると、

[sakae@fb ~/pkg/libpkg]$ grep pkgdb_open *.c
pkgdb.c:pkgdb_open(struct pkgdb **db_p, pkgdb_t type)
pkgdb.c:        return (pkgdb_open_all(db_p, type, NULL));
pkgdb.c:pkgdb_open_repos(struct pkgdb *db, const char *reponame)
pkgdb.c:pkgdb_open_all(struct pkgdb **db_p, pkgdb_t type, const char *reponame)
pkgdb.c:                        ret = pkgdb_open_repos(db, reponame);
pkgdb.c: * Used both in the shell and pkgdb_open
[sakae@fb ~/pkg/libpkg]$ wc pkgdb*
    3031    8887   74076 pkgdb.c
    1318    3532   31602 pkgdb_iterator.c
     523    2040   15609 pkgdb_query.c
    4872   14459  121287 total

pkgdb.c

prepare_sql(sqlite3 *s, const char *sql)
{
        int ret;
        sqlite3_stmt *stmt;

        ret = sqlite3_prepare_v2(s, sql, strlen(sql), &stmt,
            NULL);
        if (ret != SQLITE_OK) {
                ERROR_SQLITE(s, sql);
                return (NULL);
        }
        return (stmt);
}

一枚皮をかぶせるとORMな手法になるのかな。オブジェクト関係マッピング

pkgdb_init(sqlite3 *sdb)
{
        const char      sql[] = ""
        "PRAGMA journal_mode = TRUNCATE;"
        "PRAGMA synchronous = FULL;"
        "BEGIN;"
        "CREATE TABLE packages ("
                "id INTEGER PRIMARY KEY,"
                "origin TEXT NOT NULL,"
                "name TEXT NOT NULL,"
           :
        return (sql_exec(sdb, sql, DBVERSION));
}

そんな事より、正体見たり。後は、これらのファイルを丁寧に見てくダ ケーーーーです。

[USERS2] = {
        NULL,
        "INSERT INTO pkg_users(package_id, user_id) "
        "VALUES (?1, (SELECT id FROM users WHERE name = ?2))",
        "IT",
},

これ、SQLでの値を引っ張ってきて埋め込みの手法か。

恐しい事に、pkgコマンドからsqlite3を呼び出せるようになってる。十分に注 意して使えって但し書きがついてるけどね。

[sakae@fb ~]$ pkg shell
SQLite version 3.40.0 2022-11-16 12:10:08
Enter ".help" for usage hints.
sqlite> .tables
annotation           pkg_annotation       pkg_requires
categories           pkg_categories       pkg_script
config_files         pkg_conflicts        pkg_shlibs
deps                 pkg_directories      pkg_shlibs_provided
directories          pkg_groups           pkg_shlibs_required
files                pkg_licenses         pkg_users
groups               pkg_lock             provides
licenses             pkg_lock_pid         requires
lua_script           pkg_lua_script       script
mtree                pkg_option           shlibs
option               pkg_option_default   users
option_desc          pkg_option_desc
packages             pkg_provides

色々なテーブルがあるな。

sqlite> .mode table
sqlite> select * from users;
+----+------------+
| id |    name    |
+----+------------+
| 1  | _tss       |
| 2  | messagebus |
| 3  | avahi      |
| 4  | polkitd    |
| 5  | cups       |
| 6  | colord     |
| 7  | webcamd    |
| 8  | git_daemon |
| 9  | pulse      |
| 10 | mysql      |
+----+------------+

pkgの導入に伴なって新らしいユーザーが作成されましたとな。

sqlite> select * from script limit 1;
+-----------+----------------------------------------------------------+
| script_id |                          script                          |
+-----------+----------------------------------------------------------+
| 1         | if ! /usr/sbin/service ldconfig restart >/dev/null; then |
|           |                 if [ -z "${INSTALL_AS_USER}" ]; then     |
|           |                         exit 1                           |
|           |                 fi                                       |
|           |         fi                                               |
+-----------+----------------------------------------------------------+

スクリプトまでDBに入れてあるのはいいけど、雑誌や本のようにパラパラ出来ないのが欠点。 世はディジタルな時代で電子本が大流行だけど、オイラーは普通の本の方が好きだ。

まずは、OS関係者が使っていないか。ソースをガサ入れ。

[sakae@fb /usr/src]$ find . -name '*.c' | xargs grep -l sqlite3_
./contrib/wpa/hostapd/hlr_auc_gw.c
./contrib/wpa/src/radius/radius_server.c
./contrib/wpa/src/eap_server/eap_sim_db.c
./contrib/wpa/src/ap/eap_user_db.c
./contrib/wpa/src/ap/ieee802_1x.c
./contrib/wpa/src/ap/hostapd.c
./contrib/sqlite3/sqlite3.c
./contrib/sqlite3/tea/generic/tclsqlite3.c
./contrib/sqlite3/shell.c
./contrib/apr-util/dbd/apr_dbd_sqlite3.c
./contrib/apr-util/dbd/apr_dbd.c
./contrib/subversion/subversion/libsvn_subr/sqlite.c
./contrib/subversion/subversion/libsvn_subr/sqlite3wrapper.c
./crypto/heimdal/lib/hdb/hdb-sqlite.c
./crypto/heimdal/lib/krb5/scache.c

wpaは、無線LAN方面かな。あとは良く知らないなあ。

色々なパッケージが利用してないか？

[sakae@fb ~]$ pkg info -r sqlite3-3.40.1,1
sqlite3-3.40.1,1:
        nss-3.88.1
        sqlitebrowser-3.12.1_7
        py39-sqlite3-3.9.16_7
        tracker3-3.1.2_6
        grilo-plugins-0.3.15
        webkit2-gtk3-2.34.6_4
        gnupg-2.3.8
        tracker-2.3.4_9
        libsoup-2.74.3
        libsoup3-3.2.2
        colord-1.4.6
        py38-sqlite3-3.8.16_7
        gom-0.4

案外、知らないパッケージが使っていた。このうち、自分が意思を持っていれ たのは、sqlitebrowserだけだ。知らないうちに、汚染されちゃってる訳ね。