Lenny SpamassassinにてWhitelist_fromがISO-2022-JPの時に効かない

DebianEtch から Lenny にアップグレードし、
Postfix2.5.5-1.1 + spamassassin3.2.5-2+lenny2

にて、メール送信サーバを構築しています。以前、Etch で登録していた
whitelist_fromの内容は変更していないのですが、Lenny にアップグレード
してから、whitelist_from に記載してあるドメイン名のはずなのにspam判定
されてしまう事があります。

同じメールアドレスからなのに、メールヘッダ上のX-Spam-Status:に
USER_IN_WHITELIST がある時とない時がある事に気づき、その両者のメール
ヘッダを比較してみると

whitelist_from が効く場合
Content-Type: text/plain; charset=UTF-8

whitelist_from が効かない場合
Content-Type: text/plain; charset=ISO-2022-JP

という事が分かりました。そこで、テストのためにgmail から、送信メール
のエンコードを UTF-8 と、ISO-2022-JPを変更しながら交互に送信してみた
ところ、上記が確実である事が分かりました。（UTF-8 なら必ず、USER_IN_WHITELIST
が入り、-100される。）

何か、/etc/spamassassin/local.cfに設定をして、ISO-2022-JP でも whitelist_from
が効く方法あるのではないかと情報を探しているのですが、有用な情報にたどり着く
事ができませんでした。もし、何かご存じの方がいらっしゃいましたら、ご教示いただ
きたくお願いいたします。

/etc/spamassassin/local.cf
rewrite_header Subject *****SPAM*****
trusted_networks 192.168.
required_score 6.0
use_bayes 1
ok_languages ja en
ok_locales ja en
bayes_auto_learn_threshold_nonspam 0.1
bayes_auto_learn_threshold_spam 10.0
bayes_path /etc/spamassassin/bayes/bayes
bayes_file_mode 0666
auto_whitelist_path /etc/spamassassin/bayes/auto-whitelist
auto_whitelist_file_mode 0666
whitelist_from *@rakuten.co.jp
whitelist_from *@yoko.ac.jp
whitelist_from *@emagazine.rakuten.co.jp
whitelist_from *@jmb.jal.com
whitelist_from *@your.hp.com
whitelist_from *.rakuten.co.jp

At Sun, 14 Mar 2010 16:47:36 +0900,

有用な情報にたどりつけなかったのは ISO-2022-JP だと
whitelist_from が効かないということが一般的なことでは
ないから、ではないでしょうか? だから、その解決法も数が
多くないので見つからない、と。

spamassassin は私は一応使っていることはいるのですが
whitelist_from は使ったことがありません。 spamassassin は
けっこう使われてるイメージを持ってるので誰かが答えるだろう、と
思っていたのですが、数日ほったらかしなので、ちょっと設定して
試してみたところ ISO-2022-JP でも効きました。

ということですので「どうやって ISO-2022-JP の場合にも有効に設定
するか。」ではなくて「なぜ ISO-2022-JP だと効かないのか。」
ということを探るのがいいのではないかと思います。
--
Akihiro Terasaki

(snip)

> /etc/spamassassin/local.cf

の内容だけでは正直わかりません。

実際に

の、それぞれのメイルに付されている判定結果を示してもらえませんか。
例えば、

> Content analysis details: (136.4 points, 15.0 required)
>
> pts rule name description
> ---- ---------------------- --------------------------------------------------
> 0.5 RCVD_IN_AHBL RBL: AHBL: sender is listed in BlackList / BlockList
> dnsbl.ahbl.org
> [161.159.4.33 listed in dnsbl.ahbl.org]
> 0.2 RCVD_IN_AHBL_PROXY RBL: AHBL: Open Proxy server in BlackList /
> BlockList dnsbl.ahbl.org
> 1.5 RCVD_IN_SHORT_RBL_JP RBL: Received via a relay in short.rbl.jp
> [161.159.4.33 is listed in short.rbl.jp.]
> 1.6 URIBL_WS_SURBL Contains an URL listed in the WS SURBL blocklist
> [URIs: uaifriend.com]
> 1.0 URIBL_BLACK Contains an URL listed in the URIBL blacklist
> [URIs: uaifriend.com]
> 1.5 URLBL_RBLJP Has URI in url.rbl.jp
> [URIs: uaifriend.com]
> 5.5 BAYES_99 BODY: Bayes spam probability is 99 to 100%
> [score: 1.0000]

みたいな奴です。
--
松田 陽一(yoh)
mailto:y...@flcl.org
http://www.flcl.org/~yoh/diary/

ご返信いただきありがとうございます。
ISO-2022-JP でもちゃんとwhitelist_from が効いたんですね。

とりあえず友人から助言をもらい、加点ルールを作る

header MY_TEST From =~ /\@gmail.com/i
score MY_TEST -100.0
describe MY_TEST From gmail

という方法にて、しのいでいます。上記設定ですと、UTF-8 と、ISO-2022-JP
のどちらでも加点されるようになりました。

もしよろしければ、お使いの MTA、Spamassassin のバージョン、その他、
メール配送に関わるソフト（ClamSMTP など）を挟んでいるようでしたら
環境をお教えいただけませんでしょうか？私の方は、

postfix 2.5.5-1.1
spamassassin 3.2.5-2+lenny2
spampd 2.30-22
clamav 0.95.3+dfsg-1~volatile1
clamsmtp 1.8-6

です。どうぞよろしくお願いいたします。

御返信ありがとうございます。

同じアドレスから送信し、USER_IN_WHITELIST が記載される場合とされない場合が
あります。

UTF-8 での判定結果　charset="UTF-8";
X-Spam-Level:
X-Spam-Status: No, score=-102.3 required=6.0 tests=BAYES_00,USER_IN_WHITELIST
autolearn=ham version=3.2.5

ISO-2022-JP での判定結果　charset="iso-2022-jp";
X-Spam-Level: **
X-Spam-Status: No, score=2.7 required=6.0 tests=BAYES_00,FH_FROMEML_NOTLD,
TVD_SPACE_RATIO autolearn=no version=3.2.5

上記判定は、SPAM判定されなかった場合です。

/etc/spamassassin/local.cf に
whitelist_from ser...@enavi.rakuten-kc.co.jp

を記載しているにも関わらずSPAM判定されてしまったメールの判定結果は、

Content analysis details: (8.2 points, 6.0 required)

3.5 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
[score: 1.0000]
1.4 PLING_QUERY Subject has exclamation mark and question mark
2.3 TVD_SPACE_RATIO BODY: TVD_SPACE_RATIO
1.0 AWL AWL: From: address is in the auto white-list

です。

このため、友人から助言をいただき、加点ルールを作成し、

header MY_WHITELIST75 From =~ /service\@enavi.rakuten-kc.co.jp/i
score MY_WHITELIST75 -20.0

としたところ、

X-Spam-Level:
X-Spam-Status: No, score=-4.4 required=6.0 tests=AWL,BAYES_00,MY_WHITELIST75,
PLING_QUERY,TVD_SPACE_RATIO,WEIRD_QUOTING autolearn=ham version=3.2.5

となり、MY_WHITELIST75 が記載され、SPAM判定されなくなりました。

また、このメールのヘッダには、
Content-Type: text/html; charset="ISO-2022-JP"
と記載されています。

どうぞよろしくお願いいたします。

At Thu, 18 Mar 2010 14:50:33 +0900,

別にかまわないので書いておきますが、とりあえず
spamassassin 以外は今は関係ないのでは、と思います。
spamassassin 単独ではきちんと ISO-2022-JP だろうと
なんだろうと whitelist_from が反映される、と
なってから周辺のものを疑えば良いのではないかと。

exim4 4.69-9
exim4-base 4.69-9
exim4-config 4.69-9
exim4-daemon-heavy 4.69-9
spamassassin 3.2.5-2+lenny2
spamc 3.2.5-2+lenny2
clamav 0.95.3+dfsg-1~volatile1
clamav-base 0.95.3+dfsg-1~volatile1
clamav-freshclam 0.95.3+dfsg-1~volatile1
libclamav6 0.95.3+dfsg-1~volatile1
libmail-spf-perl 2.005-1
libmail-spf-query-perl 1:1.999.1-3
slapd 2.4.11-1+lenny1

こんなところでしょうか。抜けもあるかもしれませんけれど。

ちなみに私が spamassassin のテストをしたのは
chroot 環境下で % spamassassin -t < mail.txt とか
このような感じでした。ホワイトリストなので実際の
サーバーで試してもいいかな、とその部分では思ったのですが
必要ないモジュールとかは外していますので
whitelist_from だけ /etc/spamassassin/local.cf に
追加しても動くかどうかわからないので、そういう
テストはしませんでした。

参考までにコマンドの結果をつけておきますね。
53899 は吉村さんのメール、このスレッドの最初の
メールです。

$ spamassassin -t < 53899
[snip]
Content analysis details: (-94.9 points, 5.0 required)

-100 USER_IN_WHITELIST From: address is in the user's white-list
2.2 FH_FROMEML_NOTLD E-mail address doesn't have TLD (.com, etc.)
2.9 TVD_SPACE_RATIO BODY: TVD_SPACE_RATIO

$
--
Akihiro Terasaki

確かにおっしゃる通りです。

このような方法があるんですね。不勉強で申しわけございません。

/etc/spamassassin/local.cf に
whitelist_from ser...@enavi.rakuten-kc.co.jp
してあるアドレスから、送られてきたcharset="ISO-2022-JP"なメールを
上記方法にてspamassassin でテストしてみました。spamassassin 単体でも、
USER_IN_WHITELISTの判定は加わりませんでした。

Content analysis details: (4.5 points, 6.0 required)

1.0 GAPPY_SUBJECT Subject: contains G.a.p.p.y-T.e.x.t

-2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
[score: 0.0000]
2.2 TVD_SPACE_RATIO BODY: TVD_SPACE_RATIO
2.4 AWL AWL: From: address is in the auto white-list

また、/etc/spamassassin/local.cfに
header MY_WHITELIST77 From =~ /OhmaeNews\@bbt757.com/i
score MY_WHITELIST77 -20.0

を加えた後だと、MY_WHITELIST75が表示されました。

Content analysis details: (-5.5 points, 6.0 required)

-20 MY_WHITELIST75 MY_WHITELIST75
1.0 GAPPY_SUBJECT Subject: contains G.a.p.p.y-T.e.x.t

-2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
[score: 0.0000]
2.2 TVD_SPACE_RATIO BODY: TVD_SPACE_RATIO
12 AWL AWL: From: address is in the auto white-list

寺崎様のspamassassin のバージョンと、私が利用しているものも同じバージョンで、
spamassassin単体でテストして、寺崎様の環境では、USER_IN_WHITELIST 判定が入り
私の方では入らないという事から、私の設定方法などに問題がありそうです。local.cf
を書き直すなどして、もう一度試験してみたいと思います。

ありがとうございます。

From: 吉村　広幸 <yoshi...@yoko.ac.jp>
Subject: [debian-users:53926] Re: Lenny SpamassassinにてWhitelist_fromがISO-2022-JPの時に効かない
Date: Thu, 18 Mar 2010 19:45:40 +0900

> お世話になります。吉村です。

御存知かと思いますが、 USER_IN_WHITELIST は
/var/lib/spamassassin/***/updates_spamassassin_org/60_whitelist.cf
で

> header USER_IN_WHITELIST eval:check_from_in_whitelist()

SAの関数を呼んでいます。
ですので、 local.cf 内の正規表現パターンで定義するルールとは
本質的に異なりますので、その比較は想定される範囲のことです。

同じようなことを自分もやっては見ましたが、

shortcircuit USER_IN_WHITELIST on
whitelist_from y...@flcl.org

と、 user_prefs に記述して、

> X-Spam-Status: No, score=-105.8 required=15.0 tests=BAYES_00, CONTENT_TYPE_PRESENT,FAKEDWORD_ZERO,ISO2022JP_BODY,ISO2022JP_CHARSET, USER_IN_WHITELIST autolearn=no version=3.3.0

このような結果を得ました。
もっとも、私の場合は backports の 3.3.0 ですが。

という訳で、吉村さんの現象を再現できません。

以下の対処をお薦めします。

(1) backports の 3.3.0 に ver.up する。
最新のルールや bugfix 等が含まれています。
この手のソフトは新しい方が断然お薦めです。

(2) whitelist_from の使用を止める。
spammer が送信相手のメイルアドレスを From: に記述する例が結構
あり、 whitelist_from を設定するとそういう spam を排除できな
くなります。

(3) AWL の使用を止める。
変な学習をして、自分が自分宛に送信したテストメイルを spam と
誤判定する等の致命的な弊害を引き起こします。(経験者は語る)

気になったので調べてみたら、わたしのところでも似た現象が起きて
いました。

わたしの場合は、procmail 経由でスパムチェックをしているので、
whitelist_from が書いてあるのは、~/.spamassassin/user_prefs です。

某 PC ショップのメールマガジンがよくスパムと判定されていたので、
~/.spamassassin/user_prefs で whitelist_from を指定しました。
2008 年 2 月 28 日のことです (当時は etch を使っていたわけです)。
それ以来問題がなくなったので、lenny に更新した後も、ずっと気に
しないでいました。

ところが、吉村さんのメールを見て、最近届いたメールマガジンを
見てみたら、X-Spam-Status: に USER_IN_WHITELIST が存在しません。
もちろん、~/.spamassassin/user_prefs を書き変えたりはしていません。

幸いにというか、無精なせいでというか、メールマガジンを
すべて取ってあったので、古いメールマガジンを調べて見ました。
X-Spam-Status: に USER_IN_WHITELIST が付いていたのは、2008 年
2 月 28 日 と 29 日の二通だけでした。ほかのメールマガジンには、
まったく USER_IN_WHITELIST が付いていないのです。

自分のアドレスを whitelist_from に指定し、自分が debian-users
ML に出したメールに対してspamassassin -t をやってみると、
ちゃんと X-Spam-Status: に USER_IN_WHITELIST が付きます。
spamassassin がおかしいわけではなさそうです。

以上、わたしのところでは spamassassin がこんなふうに動作している
という報告でした。

postfix 2.5.5-1.1
spamassassin 3.2.5-2+lenny2
amavisd-new 1:2.6.1.dfsg-1
procmail 3.22-16
fetchmail 6.3.9~rc2-4+lenny2
clamav 0.95.3+dfsg-1~volatile1

--
長南洋一

はい。

> 同じようなことを自分もやっては見ましたが、

ありがとうございます。

そうですか。

local.cf を一から作り直して試験したのですが、やはり期待した結果が得られず
困っていたところでした。上記３点とても参考になりました。ありがとうございます。

# まず、本題とは関係ないことを少し。私は clamav関連のもの、
# アンチウイルスソフトをメール配送に関わらせていません。
# [53924] は間違いです。 ^^; 訂正でした。

At Fri, 19 Mar 2010 06:59:32 +0900,

local.cf を一から作り直してもダメで、さらに

At Thu, 18 Mar 2010 23:00:04 +0900,

吉村さんだけの現象ではない、とのことなので調べてみました。

$ spamassassin -D < 53899 とすると

[22872] dbg: eval: all '*From' addrs: debian-us...@debian.or.jp !!9-9

こんな行がありました。どうやら From: のアドレスをきちんと取れていない
ようです。 spamassassin のバグですね。

私のところで USER_IN_WHITELIST がついていたのは
whitelist_from *@yoko.ac.jp
と設定して効かないので、「ああ、 From: じゃなくて Return-path: の方を
見るのね。」とか思ったんでしょうね、きっと。
whitelist_from *@debian.or.jp
と変更したのでついていた、と。メールのトラブルシューティングの
ときには、二つをきっちり区別しないといけない、ということでしょうか。

spamassassin をアップデートされて、それでバグにより
つかなくなった、ということでしょうか? 2009年だったら、そこで
lenny にしたんだろうな、と思うところなのですが。

「ML から送られてきたメールではなく、 Bcc とかで保存してある
メールに対してやった。 Return-path: に whitelist_from に
設定したアドレスがある。」ということでしょうか?

ありがとうございます。役に立ちました。

# でも根本的には「whitelist を設定しないといけないような
# スパム判定ソフトを使いつづけるというのはどうなんだろう?」
# と個人的に思います。設定を見直して whitelist に頼らなくとも
# きちんとメールが配送されるようにしないといけないのでは、と。
# だって、 whitelist に登録してないところからスパムでない
# メールが来てもスパムと判定してしまう可能性がかなりある、
# とそういうことですよね? whitelist が必要だ、という状況は。
# 以上、独り言でした。
--
Akihiro Terasaki

了解しました。

何度もお手数をおかけし、お時間をいただきありがとうございます。

このバージョン（ 3.2.5-2+lenny2）のspamassassin のバグという事で結論
付けてよさそうですか？

At Sat, 20 Mar 2010 15:55:32 +0900,

良いと思います。

--- PerMsgStatus.pm.orig 2008-06-10 18:20:22.000000000 +0900
+++ PerMsgStatus.pm 2010-03-20 16:04:13.000000000 +0900
@@ -1527,10 +1527,13 @@
my $getraw = 0;

# special queries
- if (index($request, ':') != -1) {
- $getaddr = ($request =~ s/:addr$//);
- $getname = ($request =~ s/:name$//);
- $getraw = ($request =~ s/:raw$//);
+ if (index($request,':') >= 0) { # triage
+ local $1;
+ while ($request =~ s/:([^:]*)//) {
+ if ($1 eq 'raw') { $getraw = 1 }
+ elsif ($1 eq 'addr') { $getaddr = $getraw = 1 }
+ elsif ($1 eq 'name') { $getname = 1 }
+ }
}

# ALL: entire raw headers

この部分をこのように 3.3.0 と同じにしてしまえば
From: からきちんとアドレスが抽出できます。なので
whitelist_from も効くようになります。
--
Akihiro Terasaki

寺崎様をはじめ、いろいろと情報をくださった皆様ありがとうございました。
おかげ様で解決いたしました。今後ともよろしくお願いいたします。

ご質問への回答だけですが……。

寺崎さんのメールより [debian-users:53936]

2008 年 2 月 29 日 の次のメールマガジンは、同年 3 月 5 日のもの
でした。このメールから現在まで 200 通以上のメールマガジンに
USER_IN_WHITELIST が付いていないわけです。2 月 29 日から
3 月 5 日の間に、etch の spamassassin に更新があったのかも
しれない。そう思って、手元の /var/log/dpkg.log* に何か出て
いないか調べてみたのですが、一番古い記録が 2009 年 3 月 1 日で
役に立ちませんでした。

ML から配送してきた、わたしが出したメールです。ですから、
Return-Path: は debian-users-admin で、From: にわたしの
アドレスが入っています。具体的には [debian-users:53927] に対して、
spamassassin -d で X-Span-* のヘッダを消し (必要なかったかも
しれませんが)、spamassassin -t を実行しました。

そうか。わたしが試した自分のメールは、Return-Path: と From: の
内容が違ますね。これに対してメールマガジンの方は、…… これも
微妙に違います。こんな感じです (メールアドレスをはっきり書いても
問題ないんでしょうが、一応部分的に伏せ字にすると)、

Return-Path: <catcher@feed.某PCショップ.co.jp>
From: 某メールニュース <mailnews@某PCショップ.co.jp>

わたしがメールマガジンのために書いた whitelist_from は、

whitelist_from mailnews@某PCショップ.co.jp

--
長南洋一

お返事ありがとうございます。 ^^

At Sat, 20 Mar 2010 17:25:59 +0900,

そうですね。 etch の spamassassin に更新があったのかも
しれません。そうじゃないかもしれませんが。メールマガジンが
From: をアドレス部分はそのままで、他を変更した、などと
いうこともあるかもしれない、と思います。まあ、吉村さんの
問題は解決し、とりあえず困っている人はいない、と思いますので
もう終わりにすればいいんでしょうね。

> ML から配送してきた、わたしが出したメールです。ですから、

なるほど。さらに調べてみました。長南さんの From: は
デコードすると ^[$BD9FnMN0l^[(B <cyo...@maple.ocn.ne.jp>
このような感じになりますのでアドレス抽出が可能であった
ようです。吉村さんの場合は
^[$B5HB<!!9-9,^[(B <yoshi...@yoko.ac.jp> このような
感じになります。 "<" や "," が spamassassin に誤動作を
ひきおこします。

「アドレスを抽出するときにわざわざアドレスじゃない部分
なんてデコードせんでもええやん、そのまま処理しようや。」
というのがさっきのメールのパッチにある変更で、
アドレスを抜きだすときには $getraw フラグをオンにし
デコードせずに処理するようにさせる、ということかなと
思います。
--
Akihiro Terasaki

寺崎さんのメールより [debian-users:53942]
>
> …… メールマガジンが

> ----- (中略) -----

たぶん、これです。2008 年 2 月 29 日以前と、3 月 5 日以後では、
メールマガジンの From: に書いてある名前が変わっていました。
つまり、わたしの前のメールで言うなら、

From: 某メールニュース <mailnews@某PCショップ.co.jp>

の「某メールニュース」の部分が変更になったのです。

詳しいご説明、ありがとうございました。気持ちがすっきりしました。
暇を見て、[debian-users:53939] のパッチを当ててみようと思います。

--
長南洋一