use ld error log

ヒントを貰ったので、自分でヤッチャえ、と、NISSANのCM風。

#! /bin/sh
# Usage: make(cc) |& ./pick.sh
# pickUp file function symbol from linker error log

awk 'BEGIN {file=""; fn=""; sym="";}
 /ld: error: undefined symbol:/ { sym = $5 }
 />>> referenced by/            { file = $4 }
 />>>              /            { match($2, /\(.*\)/);
                                  fn = substr($2, RSTART + 1, RLENGTH - 2);
                                  printf "%12s  %-16s  %s\n", file,fn,sym }
   '   |
sort

素直になればいいのにネ。

使用上の大前提として、clang系の物でしか動きま せん。残念ながらgcc(Linux)は蚊帳の外です(これ、以前から言ってみたかっ たのよ)。 エラー情報はstderrに流れてくるので、パイプに流れるように、パイプを設定 して下さい( |& )。

早速試験してみる。 zlibの中に有るminigzipのlibz使用状況を、調べてみる。

[sakae@fb /tmp/zlib-1.3/test]$ cc minigzip.c |& ./pick.sh
  minigzip.c  file_compress     gzopen
  minigzip.c  file_uncompress   gzopen
  minigzip.c  gz_compress       gzclose
  minigzip.c  gz_compress       gzerror
  minigzip.c  gz_compress       gzwrite
  minigzip.c  gz_uncompress     gzclose
  minigzip.c  gz_uncompress     gzerror
  minigzip.c  gz_uncompress     gzread
  minigzip.c  main              gzdopen
  minigzip.c  main              gzdopen
  minigzip.c  main              gzdopen
  minigzip.c  main              gzopen

もう一つ例で、今回活躍してくれたawk君。manを参照してたら、sin,cos,log 関数とかが利用可ってなってたから、-lm してるはず。

PROG=   awk
SRCS=   awkgram.tab.c lex.c b.c main.c parse.c proctab.c tran.c lib.c run.c
# LDADD= -lm

これMakefileの一部。LDADD= -lm をコメントにして、リンク漏れを発生させ る。

VBOX$ make |& pick.sh
       run.c  arith             pow
       run.c  assign            pow
       run.c  bltin             atan2
       run.c  bltin             cos
       run.c  bltin             exp
       run.c  bltin             log
       run.c  bltin             sin

今度は普通の人も使える電卓bc。 emacs/calcは、その筋の人用だからね。

VBOX$ make |& pick.sh
        bc.c  main              el_init
        bc.c  main              el_set
        bc.c  main              el_set
        bc.c  main              el_set
        bc.c  main              el_source
        bc.c  main              history
        bc.c  main              history
        bc.c  main              history_init
      scan.c  abort_line        el_line
      scan.c  bc_eof            el_line
      scan.c  yylex             el_get
      scan.c  yylex             el_get
      scan.c  yylex             el_gets
      scan.c  yylex             el_push
      scan.c  yylex             history
     bcode.c  bmod              BN_div
     bcode.c  bmul              BN_mul
     bcode.c  bmul_number       BN_mul
     bcode.c  init_bmachine     BN_CTX_new
     bcode.c  load_array        BN_is_negative
     bcode.c  negate            BN_is_negative
     bcode.c  num_digits        BN_exp
     bcode.c  scale_number      BN_div
      :

豪華に、 -ledit -lcurses -lcrypto をリンクしてた。暗号電卓かと思ったら 大間違いで、暗号に必須の多倍長演算ルーチンを拝借してんだね。

あれ？ -lcurses は、リンクされてるけど使用されていないぞ。これはBUGの 範疇に入いるのだろうか？ OpenBSDはミニマム主義なんだから不要な物のリン クはまずいだろね。

mgはemacs風なeditor で、/usr/lib/libcurses.so.14.0 と /usr/lib/libutil.so.17.0 を抱えている。

VBOX$ make |& pick.sh
       tty.c  ttdell            tgoto
       tty.c  tteeop            tgoto
       tty.c  ttinit            setupterm
       tty.c  ttinit            tputs
       tty.c  ttinit            tputs
       tty.c  ttinit            tputs
       tty.c  ttmove            tgoto
      main.c  main              login_tty
      main.c  main              openpty
      tags.c  tagsvisit         fparseln
      tags.c  tagsvisit         fparseln
   display.c  uline             cur_term
   display.c  uline             cur_term
   display.c  uline             cur_term

tgotoはcursesに属し、fparselnはutilに属してるなんて事がman一発で判明す る。これは便利だなあ。

kshは残念ながらstderrもパイプする技( |& )をサポートしていない。で、下 記の様にする。パイプする前に、stderr(2)をstdout(1)に向ける。そしてそれ をパイプに潜りこませるんだ。当然、本来のstdoutはパイプを通過できない。

vbox$ make 2>&1 | pick.sh
    gzopen.c  gz_close          deflate
    gzopen.c  gz_close          deflateEnd
    :

こうすれば、bash並みになる。

{ cmd 2>&1 1>&3 | progress; } 3>&1

リンカーのエラー報告は、標準エラー出力に流れてくるので、単にリダイレク トしただけでは、蓄積してくれない。下記のおまじないが必要だ。

[sakae@deb test]$ gcc minigzip.c >LOG 2>&1
[sakae@deb test]$ cat LOG
/usr/bin/ld: /tmp/cclzDiLP.o: in function `gz_compress':
minigzip.c:(.text+0xb5): undefined reference to `gzwrite'
/usr/bin/ld: minigzip.c:(.text+0xcf): undefined reference to `gzerror'
/usr/bin/ld: minigzip.c:(.text+0xfd): undefined reference to `gzclose'
/usr/bin/ld: /tmp/cclzDiLP.o: in function `gz_uncompress':
minigzip.c:(.text+0x148): undefined reference to `gzread'
/usr/bin/ld: minigzip.c:(.text+0x166): undefined reference to `gzerror'
/usr/bin/ld: minigzip.c:(.text+0x1dc): undefined reference to `gzclose'
/usr/bin/ld: /tmp/cclzDiLP.o: in function `file_compress':
minigzip.c:(.text+0x2c4): undefined reference to `gzopen'
/usr/bin/ld: /tmp/cclzDiLP.o: in function `file_uncompress':
minigzip.c:(.text+0x435): undefined reference to `gzopen'
/usr/bin/ld: /tmp/cclzDiLP.o: in function `main':
minigzip.c:(.text+0x6ef): undefined reference to `gzdopen'
/usr/bin/ld: minigzip.c:(.text+0x74a): undefined reference to `gzdopen'
/usr/bin/ld: minigzip.c:(.text+0x7a9): undefined reference to `gzopen'
/usr/bin/ld: minigzip.c:(.text+0x870): undefined reference to `gzdopen'
collect2: error: ld returned 1 exit status

単にstderrからの出力をログするなら

[sakae@deb test]$ gcc minigzip.c 2>LOG

で、良い。

上のログを題材に、でっちあげ。

#! /bin/sh

grep '/usr/bin/ld' |
awk 'BEGIN { file=""; fn=""; sym="" }
 /: in function /           { fn = $5 }
 /: undefined reference to/ { p = index($2, ":");
                              file = substr($2, 0, p - 1);
                              sym = $6;
                              printf "%16s  %-16s  %s\n", file,fn,sym }
    ' | sort

[sakae@deb test]$ cc minigzip.c |& ./pick.sh
      minigzip.c  `gz_compress':    `gzclose'
      minigzip.c  `gz_compress':    `gzerror'
      minigzip.c  `gz_uncompress':  `gzclose'
      minigzip.c  `gz_uncompress':  `gzerror'
      minigzip.c  `main':           `gzdopen'
      minigzip.c  `main':           `gzdopen'
      minigzip.c  `main':           `gzopen'

ビールの極なら歓迎するけど、こちらは手抜きの極め例になってます。 銀杏が入手できたんだけど、ビールと日本酒と、どちらがお勧め？ もう、そんな季節なんですねぇ。

それって、平たく言えば盗作だよね。

import re

with open("./LOG", 'r') as file:
        lines = file.readlines()

for line in lines:
    match = re.search(r': in function `(\w+)', line)
    if match:
        fn = match.group(1)
    match = re.search(r'(\S+\.c):\(\S+\): undefined reference to `(\w+)', line)
    if match:
        file_name, sym = match.groups()
        print(f'{file_name:>16} {fn:<16} {sym}')

すっきりサッパリ、サロンパスなんちゃってね。

[sakae@arch z]$ python3 sel.py
      minigzip.c gz_compress      gzwrite
      minigzip.c gz_compress      gzerror
      minigzip.c gz_compress      gzclose
      minigzip.c gz_uncompress    gzread
      minigzip.c gz_uncompress    gzerror
      minigzip.c gz_uncompress    gzclose
      minigzip.c file_compress    gzopen
      minigzip.c file_uncompress  gzopen
      minigzip.c main             gzdopen
      minigzip.c main             gzdopen
      minigzip.c main             gzopen
      minigzip.c main             gzdopen

awkの結果と違うな。見比べたら、awk版の方は、grepでフィルターして、/usr/bin/ld 限定にしてた(gccのld的に、 正しいかどうかは、定かではないけど)。

for line in lines:
    match = re.match(r'/usr/bin/ld:', line)
    if not match:
        continue
    match = re.search(r': in function `(\w+)', line)

下に落ちて行かないように、防止策を入れるといい。

盗作と言うと聞こえが悪いな。今回の場合だと、ジャンク品から使える部品を 取り出して有効利用しましたってエコな生活ですよ。全世界的な流行ですから ね。OpenAIは、その為のジャック品を提供してくれてる訳ね。で、嬉しいのは、 要求した分野にピッタリのジャンク品を提示してくれる事。

今回の学習成果は、正規表現エンジンの駆動方法の違いを知った事。matchは 文字列の頭からの突き合わせ。searchは緩くて、そんな制限は無い。pythonを awk風に使うなら、迷わずにsearchを使っとけ。

もう一つ成果が有ったぞ。printfでフォーマット出力するなんて、らしくないっ てな。python独自のprintによるprintの為のフォーマット記法。新発明で pythonにロックインさせたい思惑が透けてみえます。なんせ、大学でも、こぞっ てpythonを教えるぐらいですから。

折角作ったスクリプトなんで、FreeBSDでも確認。gcc1[012] と豪華な陣容で あった。/usr/local/bin/ld なんだよな。matchを使って頭からの一致じゃ駄 目だ。サッとやるなら、searchだね。