erlang and firewall

InterNet |-------|em0|----|PF|----|OpenBSD|----|PF|----|dc0|-------| LocalNet

packet filter(PF)の概念は、上記の図で表せそう。真ん中にあるのはOpenBSDのホスト(kernel)だ。 em0,dc0は、NIC（ネットワークI/F）。2枚刺さっていると、インターネットをローカル側と結びつけるルーターになる。身近にあるな。NTTが設置した光回線の装置がそれだ。

BSDの場合は、NICにちゃんとした呼称が付いている。それに対してリナときたら、昔は味も素っ気もない、eth0,eth1って名前だったな。最近は少しは態度を改めたようで、enp8s0みたいな名前になっている。何でもNICが刺さっているスロットを表しているらしい。dmsgの表示と言い、リナな連中にはハードウェアへの愛ってものが無いのかね。オイラーのリナ嫌いの一端が、こんな所に表われているのさ。

ちなみに、em0とかは何よ？　そんなの、/sys/arch/amd64/conf/GENERICを見れば書いてある

em*     at pci?                         # Intel Pro/1000 ethernet
dc*     at pci?                         # 21143, "tulip" clone ethernet

emて名前のNICは、PCI-Busに差し込む、Intelのやつって一目瞭然。それで飽き足らんかったら、OS起動時のログdmesgを見れば、プローブした結果が出て来る。チップ名まで分かるって楽しいな。

em0 at pci2 dev 0 function 0 "Intel 82545EM" rev 0x01: apic 1 int 18, address 00:0c:29:aa:bb:cc

そんなのリナでもコマンド叩けば分かるよ。そんなにコマンド増やしてどうするねん、と言っておこうか。

debian:tmp$ sudo dmesg|grep enp8
[    3.188229] r8169 0000:08:00.0 enp8s0: renamed from eth0

ああ、一応dmesgにも出て来てるな。昔の名前だとeth0でしたとさ。

また脱線したな。PFを有効にするか否かは、専用コマンドで行う。pfctl -e で、イネーブル。-dでディセーブル、バイパスするって事だ。

ルールは /etc/pf.confに書く。再読み込みは、pfctl -f /etc/pf.conf だ。ヘタな設定をしちゃうと、2度とsshでログイン出来なくなるんで、シリアル回線でloginの上操作をすればよい。そんな事がいつかは起きるだろうと思っていたんで、手回しよく準備しといたよ（イトカワの面々みたいだな）。

で、フィルターをイネーブルにすると、その設定により、パケットを通過させたり(pass)、破棄（block)させたり出来る。パケットはOSから見て入って来る(in)か、出ていくか(out)の方向がある。

ファイアウォールだと、外からやって来るパケットを破棄するのが主目的になろう。いや、出てくパケットを落としたい事もあるぞ。会社で使うなら、youtubeなんて見るんじゃねぇとか、有るだろう。そういう場合、outの何某に付いてはドロップさせるとか、いやらしく、うんと帯域を絞るなんて芸当も出来る。勿論、パケットの書き換えとかも出来るんでNATも朝飯前だ。

余りに機能が多すぎて、それ用の本が出版されてる。そして著者が講演録を公開してくれている。Firewalling with OpenBSD's PF packet filter

まずは、みようみまねで /etc/pf.conf

set skip on lo

block in all
pass out all keep state
pass in on egress proto tcp from any to egress port ssh modulate state

ルールの適用は、最後にマッチしたものが、勝者となり有効化される。

loって言うループバックI/Fは、ルールの適用外。次は、全部禁止ね。これじゃ、どうにもならないので、出てくパケットは、有効化するよ。この時、sshのセッションみたいに、行ったり来たりするのも有るだろう。そういうのに備えて、接続状況を覚えておくよって設定。 この行が無いと、中から外にsshが出来なくなる。

最後の行は、外から入って来るssh接続要求は、許してあげるって設定だ。on egress ってのは、デフォルトgwが設定されてるNICを表すaliasだ。

protoは、TCP,UDP,ICMPのどれかだ(細かい事を言うと、IPv4とIPv6の詳細に分かれる）。 UDPとICMPについての設定が無いので、pingにも反応しない、困ったちゃんぽい設定になる。

aa.bb.cc.1     VMware GW?
aa.bb.cc.128   OpenBSD(ob)
aa.bb.cc.129   Debian(pen)

これからの実行例では、生IPが出て来るけど、そのまま晒すのもあれなんで、CIDR/24の部分は伏字にした（クレカの請求書に書かれている、口座番号みたいだな）。カッコ内は、プロンプトだよ。

sakae@pen:~$ ping aa.bb.cc.128
PING aa.bb.cc.128 (aa.bb.cc.128) 56(84) bytes of data.
^C
--- aa.bb.cc.128 ping statistics ---
11 packets transmitted, 0 received, 100% packet loss, time 231ms

sakae@pen:~$ ping aa.bb.cc.128
PING aa.bb.cc.128 (aa.bb.cc.128) 56(84) bytes of data.
64 bytes from aa.bb.cc.128: icmp_seq=1 ttl=255 time=0.599 ms
64 bytes from aa.bb.cc.128: icmp_seq=2 ttl=255 time=0.987 ms

下側は、pfctl -d して、無効化した場合だ。尚、OpenBSD側から外側のDebian機に向かってのpingは、何の問題もなく出来る。

ただ、syspatchは内部的にftpが使われている為、ftpの特殊性を考慮してないpf.confでは、利用出来ない。この問題は根が深く、pfだけでは解決出来ない為、ftp-proxyと言うラッパーを用意して、そこにリダイレクトするって方法で逃げている。最近のブラウザーが軒並みftpのサポートを打ち切ったけど、その理由の一つになってるんだろうね。

今度は、OpenBSD側で、erl -name boss@aa.bb.cc.128 して、erlを起動

sakae@pen:~$ echo -ne "\x00\x01\x6e" | nc aa.bb.cc.128 4369
name boss at port 47530
sakae@pen:~$ echo -ne "\x00\x01\x6e" | nc aa.bb.cc.128 4369
^C

リナ側で確認。下は、PFを有効化した場合。返事は4369へのパケットが拒否されているので、無い。これを有効にしないとな。

epmdのportも開いてあげる。

ob# pfctl -sr
block drop in all
pass out all flags S/SA
pass in on egress inet proto tcp from any to aa.bb.cc.128 port = 22 flags S/SA modulate state
pass in on egress inet proto tcp from any to aa.bb.cc.128 port = 4369 flags S/SA modulate state

こんなコマンドを叩くと、現在ロードされてるルールが確認出来る。

ob# pfctl -ss
all tcp aa.bb.cc.128:22 <- aa.bb.cc.1:58506       ESTABLISHED:ESTABLISHED
all tcp aa.bb.cc.128:40353 -> aa.bb.cc.129:22     ESTABLISHED:ESTABLISHED

また、このコマンドで、内部的に保持してる状態を確認出来る。

なお、PFの先進的（ロギング）な使い方は、 OpenBSD本家でpfを動かす その2　を参照。

普通にerlすると、自由奔放に、通信用のport番号を割り当ててしまう。これって、firewallと極めて相性が悪いよね。だって、firewallはどのポートで待ったらいいか見当付かないから。 だったら、間口を拡げておけってのでは、firewallを築く意味が無い。

そこで、erlの方に足枷をはめて、開くポートを制限しちゃえって発想になる。その為のオプションが、ちゃんと用意されてる。

debian:tmp$ cat ports.config
[{kernel,[
  {inet_dist_listen_min, 31415},
  {inet_dist_listen_max, 31416}
]}].

こんな風にport番号を限定するファイルを作る（2台って言うか２ノード用の例）。

debian:tmp$ erl -name hoge@aa.bb.cc.66 -config ports

そして、起動時に設定ファイルを指定すれば良い。若い番号から使われていくよ。

Protocol 'inet_tcp': register/listen error: eaddrinuse

3台目を起動しようとしたら、こんなエラーになって、起動出来なかった。余裕を持って、リソースを用意しておいた方が良いな。

te.erl

server_node() ->
    'boss@aa.bb.cc.128'.

ホスト間に跨るやりとりになるので、ホストに相当するIPアドレスを付与した。

そして起動時には、-nameを使う。firewallを使う予定なので、portsに制限を課す。

ob$ erl -name boss@aa.bb.cc.128 -config ports
Erlang/OTP 23 [erts-11.2] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:1]

Eshell V11.2  (abort with ^G)
(boss@aa.bb.cc.128)1> c(te).
{ok,te}
(boss@aa.bb.cc.128)2> te:start_server().
true
(boss@aa.bb.cc.128)3> te:logon(cap).
logged_on
true

サーバー側でもlogonして、通信出来るようにする。

sakae@pen:/tmp$ erl -name z1@aa.bb.cc.129
Erlang/OTP 23 [erts-11.2] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:1] [hipe]

Eshell V11.2  (abort with ^G)
(z1@aa.bb.cc.129)1> c(te).
{ok,te}
(z1@aa.bb.cc.129)2> te:logon(hoge).
true
(z1@aa.bb.cc.129)3> te:message(cap, "hello boss").
ok

こちらはクライアント側。logonした時の logged_on と言う、微妙な応答が無い。通信も相手側に届いていない。そう、サーバー側のfirewallに穴が開いていないからね。

pass in on egress proto tcp from any to egress port 31415:31416 modulate state

/etc/pf.conf に、上記を追加してから、再読み込み。開くportsに幅が有る場合、コロンで区切る指定が使える。

(z1@aa.bb.cc.129)2> te:logon(hoge).
true
logged_on
(z1@aa.bb.cc.129)3> te:message(cap, "hello boss").
ok
sent
Message from cap: "Catch him"
Message from cap: "I'll trace her"
(z1@aa.bb.cc.129)4> te:message(cap, "roger!").
ok
sent

今度は、firewallに穴が開いたので、ちゃんと通信出来ます。

list is now: [{<12861.93.0>,hoge},{<0.94.0>,cap}]
Message from hoge: "hello boss"
(boss@aa.bb.cc.128)4> te:message(hoge, "Catch him").
list is now: [{<12861.93.0>,hoge},{<0.94.0>,cap}]
sent
ok
(boss@aa.bb.cc.128)5> te:message(hoge, "I'll trace her").
list is now: [{<12861.93.0>,hoge},{<0.94.0>,cap}]
sent
ok
list is now: [{<12861.93.0>,hoge},{<0.94.0>,cap}]
Message from hoge: "roger!"

こちらは、boss側。奴さんをたいーーほしてこいと指令。capみずから現場に出て、ストーカーもとえ尾行を始めるようです。大将はずっと本部に詰めていないんですかね？　10年前、おれがおれがと言いながら、福島の原発に出向いた首相みたい。何か有ったらどうすると。

firewallの今の状況を確認出来る

ob# pfctl -sa
FILTER RULES:
block drop in all
pass out all flags S/SA
pass in on egress inet proto tcp from any to aa.bb.cc.128 port = 22 flags S/SA modulate state
pass in on egress inet proto tcp from any to aa.bb.cc.128 port = 4369 flags S/SA modulate state
pass in on egress inet proto tcp from any to aa.bb.cc.128 port 31415:31416 flags S/SA modulate state

STATES:
all tcp aa.bb.cc.128:22 <- aa.bb.cc.1:52955       ESTABLISHED:ESTABLISHED
all tcp aa.bb.cc.128:26085 -> aa.bb.cc.129:22       ESTABLISHED:ESTABLISHED
all tcp aa.bb.cc.128:31415 <- aa.bb.cc.129:50563       ESTABLISHED:ESTABLISHED

INFO:
Status: Enabled for 0 days 01:07:15              Debug: err

State Table                          Total             Rate
  current entries                        3
  half-open tcp                          0
  searches                            4108            1.0/s
  inserts                               13            0.0/s
  removals                              10            0.0/s
Counters
  match                                 22            0.0/s
   :

このfirewallはオプションで、パケットのかなり細かい所まで確認出来るようになっている。たとえば、TTLの値を抽出したり書き換えたり。/etc/pf.osなんてのも用意されてる。何かと思ったら、パケットを精緻に分析して、相手のOSをフィンガープリントと比較し、炙り出すとか。その為の指紋ファイルがpf.os。

こんなビット操作って、erlangも得意なんだよなあ。今度やってみるか。

 Fingerprint entry format:
#
# wwww:ttt:D:ss:OOO...:OS:Version:Subtype:Details
#
# wwww     - window size (can be *, %nnn, Snn or Tnn).  The special values
#            "S" and "T" which are a multiple of MSS or a multiple of MTU
#            respectively.
# ttt      - initial TTL
# D        - don't fragment bit (0 - not set, 1 - set)
# ss       - overall SYN packet size
# OOO      - option value and order specification (see below)
# OS       - OS genre (Linux, Solaris, Windows)
# Version  - OS Version (2.0.27 on x86, etc)
# Subtype  - OS subtype or patchlevel (SP3, lo0)
# details  - Generic OS details

とか、色々なテクニックが使われている。まるで、nmapみたいだな。

とまあ、pf.confを上書きしてしまったけど、オリジナルな奴は

vbox$ doas pfctl -sr
block return all
pass all flags S/SA
block return in on ! lo0 proto tcp from any to any port 6000:6010
block return out log proto tcp all user = 55
block return out log proto udp all user = 55

こんな設定になっている。blockした時、returnで、適切な返答を返す親切設計。それに対して、オイラーの書いた奴は何も返答しない設定だ。ステルス動作してる。

よく、興味本位でtracerouteをすると、途中のルーターでタイムアウトするって事が有る。これは、ステルス動作させてて何の応答も無いものだから、しびれを切らせてtracerouteがタイムアウトさせてるんだ。

こういうステルス動作で防御って言う戦法の他、気に入らないパケットが届いたら、あんたとは話したくないって言う積極的に意思表示も出来る。例えば、finパケットを送って、もうお終いですとか、resetパケットを送って、ピシッと拒否の意思表示をする、とかね。

奥が深くて面白そうだな。