在服务器上对垃圾邮件采取哪种处理方式更合适

yinjie

看的累.不知道你要说明什么.你先给我解决一个问题吧.我要求邮件中包含"**功"的该邮件为垃圾邮件,而包含"反对**功"的为正常邮件,你告诉我你是如何区别这两封邮件的.<br>
<br>
我承认使用SMTP会话阶段的处理能解决大部分的伪造邮件或广告邮件，但对于发信人合法.收信人也合法,内容并不单纯包括你所设置的KEYWORD的垃圾邮件,请问你不用内容分析如何解决.我想你一定知道贝叶斯算法的原理,我想没必要在这里解释,那我想你应该知道KEYWORD和内容分析的区别吧.<br>
<br>
仔细看看我给你题目,解决好了再来找我,谢谢.

atong999888

我都是建议用户尽量避免使用KEYWORD来判断是否垃圾。<br>
我都是建议用户使用"Greylisting+spf+surbl+whitelist"组合过滤, Greylisting技术是考验对方发送邮件服务器是否为遵循smtp标准的邮件服务器, spf是考验对方发送人是否冒用他人邮件地址，surbl检查邮件内容里的网页连接是否被国际反垃圾邮件组织surbl.org列入黑名单，我们并不关心邮件内容是否包含"反对**功", 如果内容包含"反对**功"的邮件有被加入到surbl黑名单的网页链接，那就当作垃圾邮件，否则就放过。

atong999888

靠分析邮件内容是否包含"反对**功"keyword来判断是否垃圾是没任何意义.<br>
"中国***反对**功，迫害**功"的反动邮件根本无法定是不是垃圾.<br>
"外交部严重抗议: ***报纸不实报告，诬陷中国反对**功，迫害**功"的邮件也根本无法定是不是垃圾.

yinjie

既然楼主如此说，那就没有讨论的意义了。呵呵。。失陪<br>
<br>
看来清华大学研究的中文分词技术可以停止了。全球的反垃圾邮件系统也不再需要在内容评分上努力了。只要用上你们的ORF，一切都解决了。呵呵。。恭喜你们的发明给中国甚至世界反垃圾邮件提供了榜样，希望在这里的朋友大力使用你的ORF系统，相信不久的将来，中国就不再会有垃圾邮件了，呵呵。。<br>
<br>
我免费给你做广告，呵呵。。<br>
<br>
不过我想说的，任何技术都有其固有的局限性，我并没有说你的产品不好，也没有说内容评分系统一定好，大多数情况下这两者是结合使用的，而且反垃圾邮件系统是一个特殊的系统，必须经过长时间的学习--反馈--再学习--再反馈，才能达到最好的效果。以上只是我个人的看法，不对你的产品和技术做权威评价（我也没这个水平，呵呵），不过希望你和其他人一样，都不要在这个技术讨论版块里明显的做自己的广告，否则我会秉公执法的。谢谢支持。<br>
<br>
如有兴趣，欢迎和我当面探讨，哈哈。。我最喜欢说服别人，也许是做讲师的*习吧，嘿嘿。

yinjie

我还想补充一小点，正因为分词分析技术给反垃圾邮件提供了很好的手段，现在有很多的垃圾邮件已经采用图片方式发送了（你如有兴趣，我发几个你看看），其目的就是要逃避分词技术的分析，而从你的ORF来看，对这类从合法地址发送，目标也合法的图片类邮件或不包含在黑名单里的连接（我就不在邮件里放连接可以吗？我写个广告，比如来参加培训啊，优惠1200元，没连接，你怎么办？），就不会做垃圾邮件处理了吧？<br>
<br>
我再次重申，从SMTP会话段处理垃圾邮件是非常好的方法，但局限最多，当使用了有效的SMTP阻拦后剩余的部分就要用内容分析来进一步处理了，当然这是最复杂也最耗资源的一部分。所以我说反垃圾邮件技术还有待提高，我希望能看到更多的从SMTP会话段处理和识别垃圾邮件的方法，但我也说过垃圾邮件是因人而异的，因此必须不断的学习（其实你的Greylisting就是一个自学习系统），强化学习后才能达到很好的效果。呵呵。。<br>
<br>
很高兴和你讨论垃圾邮件防范，呵呵。。希望你和你的公司的专家给予我帮助和指正，谢谢。。我的联系方法可以见我的签名或MVP配置页。欢迎你的指正。

xxfree

ExchangeIMF这个东东有没有效呢？

yinjie

当然有效。IMF最早是使用在HOTMAIL上的，全球这么多人在用，你说有效还是无效，只不过由于分词技术在中文和英文上处理的差异以及垃圾邮件的个性化，而微软为了防止客户的错误学习导致判断率的降低（我们知道如果让自学习系统不断的学习边缘信息，将降低系统的识别率），所以微软公司没有提供给用户太多的控制能力（当然通过SDK是可以控制的），因此实际使用来看效果不是很好。我说过了，随着分词技术的提高和对中文识别的提高，这项技术将会是最好的最精确的识别垃圾邮件的方法。当然，IMF是基于内容识别的，所以消耗大量的系统资源，建议不要安装在邮箱服务器上（推荐是在前端服务器）。并配合基于SMTP会话的垃圾邮件系统（如DNSRBL、BLACKLIST、WHITELIST、RDNS、SPF等等）来一起使用更加的好。

atong999888

今天仔细研究一下IMF, 终于在下面找到IMF的网关"拒绝"的意思, 原来就是在smtp会话里完成的.<br>
<br>
<A HREF="http://www.microsoft.com/technet/prodtechnol/exchange/guides/IMFDeploy/f03c031b-82ae-4e13-b5f4-8553eb0358c1.mspx" TARGET=_blank>http://www.microsoft.com/technet/prodtechnol/exchange/guides/IMFDeploy/f03c031b-82ae-4e13-b5f4-8553eb0358c1.mspx</A><br>
<br>
<b>Reject</b>: Reject to reject the message at the gateway. Exchange rejects the message during the SMTP session, and the connecting SMTP server is then responsible for delivering the non-delivery report to the sender.<br>
<b>Delete</b>: Delete to delete all messages marked as UCE with a rating above the specified threshold. The message is accepted by Exchange and is then deleted. Neither the sender nor the intended recipient are notified that the message has been deleted. <br>
<br>
再让我们复习一下会话过程，我把IMF开启了且设置为"网关拒绝"，看看IMF如何响应(版主大人别闲我太唠叨)<br>
<br>
1. 对方说 : Helo hahaha<br>
2. 我方回应: 250 emailservername Hello [2.2.3.4]<br>
3. 对方说 : mail from: <aaa@aaa.com><br>
4. 我方回应: 250 2.1.0 aaa@aaa.com .... Sender OK <br>
5. 对方说 : rcpt to: <bbb@bbb.com> (bbb@bbb.com是我方的一个存在邮件地址)<br>
6. 我方回应: 250 2.1.5 bbb@bbb.com （允许对方发送数据)<br>
7. 对方说 : data<br>
8. 我方回应: 354 Start mail input; end with <CRLF>.<CRLF> (告诉对方可以开始发送)<br>
9. 对方说 : 100% free sex and pict (对方发送数据)<br>
10.对方说 : . (对方最后一行发".", 告诉我方他发完了,这时他要等我的回复)<br><font color="blue">反垃圾系统开始分析邮件内容来判断是否垃圾邮件</font><br>
11.我方回应: 550 5.7.1 Requested action not taken: message refused. <br>
12. 会话smtp结束<br>
<br>
在完成第10的smtp指令后, Exchange完整地收到了邮件的内容，把它交给IMF进行内容分析，如果判断为垃圾邮件，则在第11发送550 smtp拒绝信息，对方发送服务器收到这个反馈拒绝信息后结束smtp会话，且由对方发送服务器NDR(on-delivery report)发送给原始发件人.<br>
其实同一个算法是在smtp会话里还是"先接受下来在判断是否垃圾"的精确程度是完全一样的，可能是第3方软件要实现smtp会话技术难度比较高，因为它要集成进人家编写的邮件系统里.<br>
<br>
我的投票内容基本上在IMF也有了，我原来意思是选那一种操做比较合适，至于如何分析邮件内容是否为垃圾邮件那是软件产家的事，先不要去讨论ORF好坏, 那些我们暂且不管.<br>
<br>
1. 接收并直接在服务器上删除掉 (=IMF的网关阻止的"删除")<br>
2. 接收并直接在服务器上删除掉, 再自动发送一封NDR (IMF不想有，而是用5)<br>
3. 接收并在主题加上spam标签<br>
4. 接收并把它直接放在"垃圾邮件夹" (=IMF的垃圾邮件存储配置)<br>
5. 直接在SMTP会话里发送拒绝信息 (=IMF的网关阻止的"拒绝")<br>
<br>
3和4本质上是差不多，都要由用户自己判断"被当做垃圾"邮件是否有合法邮件，如果漏掉了，那是用户的责任，可能用户会认为是管理员的责任(谁叫你给我误判).<br>
IMF多了一个存档, 管理员每天都去“存档”里的把每一封邮件看一遍，挑出合法的邮件再放到队列重新发送给用户，最终效果就是管理员替用户看垃圾邮件,换句话说就是原来由用户看垃圾邮件的责任现在转嫁到管理员身上，如果管理员漏掉合法邮件，管理员要承担丢失责任，在严格的商业邮件系统里，不知有没有人使用这种模式.<br>
<br>
在真正严格的商业邮件系统，是可以允许有垃圾邮件漏进来，但绝不允许有任何合法商业邮件丢失(宁可放过一千，不可错杀一个)，如果是使用IMF的管理员或反垃圾系统管理员，如果你们老板要求任何商业邮件丢失(收发双方都没看到邮件或退信)一次你的工资降就要一级，反垃圾功能还必须有，你们会使用哪种处理结果.<br>
<br>
<br>
<br>
<br>

yinjie

你确实是够罗嗦的，呵呵。。我只说三点：<br>
1、内容分析比通过关键字或某个链接是否在某个数据库里的判断方法有效准确，因为内容分析会采用正负抵消的方法，有效的降低正常邮件误判率。这点不知道你是否认同了，呵呵。。<br>
2、采用什么处理方式我认为并不重要，而最重要的是分析实际情况，选择合适的策略，拿IMF来说，就是选择合适的SCL值。你觉得是多少？8？9？还是5？这是需要经过长期分析得到的。你忽视了这一点，只一味的强调处理方法是不恰当的。<br>
3、对明显的垃圾邮件或病毒邮件，在网关处理是合适的（当然要经过分析，选择合适的策略），但对于灰色等级的邮件，还就是要在客户端进行处理，全部在网关端处理是不合适的。一方面内容分析需要大量的系统资源，而网关要处理太多的邮件，系统显然不多，而客户端处理的邮件少，资源是充分的。另一方面有些不能明确判断的邮件就是要让客户自行处理，并将处理结果反馈给系统，以强化学习提高识别率，降低误判率。正如你说的，识别率要越高越好，而误判率要越低越好，然而这是矛盾的，如果你为了正常邮件的绝对不丢失而放过了大量的垃圾邮件，想必你的工资也不会太好的，哈哈。。所以凡事要有个度，我们可以允许极少量的正常邮件被误判（通过存档分析和客户端分析可以有效的挽回它们），我们也应该允许少量的垃圾邮件进入系统（同样通过客户端人工分析去识别它，并反馈信息），这样，我们的系统才能更加的精确。如果完全用户不去干预，这样的系统是不可能做到你要达到的目的的。这里存在一个对用户培训教育的问题，就象一段时间前，我们一看到安全问题就认为是管理员的事，现在呢？大家已经认识了自己的行为也会给系统安全带来危害，这就是培训的作用。垃圾邮件也是一样，必须要让大家知道自己的行为也会干预系统的运行，提高系统的分析效率，这样才有可能达到最大限度解决垃圾邮件的问题，如果出现垃圾邮件，就怪管理员，则会大大的降低系统的运行效率。明白了吗？

atong999888

1、难道关键字或某个链接是否在某个数据库里的判断方法不是内容分析吗？<br>
我们应该明白的一点是内容分析的动作是邮件的内容，而不是对邮件的from ip、 from email address、 to等, 内容分析的手段很多，如bayes分析，Smart Screen技术(IMF使用的)，关键字等，至于内容的分析效果如何那就要看算法了.<br>
<br>
2. 采用什么处理方式我认为也很重要，拿IMF来说，除了选择合适的SCL值，还得根据需要选择适当的处理方法, 因为那个SCL有时还会有错的。<br>
<br>
3. 讨论到这里，才回到我原来的投票主题，简单一句话，不管采用什么方式过滤，总会有错的，那如何避免这个错误导致邮件丢失呢. 我们并不必为了正常邮件的绝对不丢失而放过了大量的垃圾邮件，而是为了正常邮件的绝对不丢失而放过了少量的垃圾邮件.<br>
<br>
现在各种反垃圾软件的识别率都很高的，一般能到达95%左右，剩下的就要看对误判邮件如何处理。 但如果不采用5方式，那就只能把垃圾邮件放在垃圾邮件夹里，实际情况是没多少用户会去里面一封一封看过去挑出合法邮件，出事后对方肯定抱怨邮件丢失，不信你可以问一下用户。 还有那个归档到服务器的方式， 那有多少管理员会去看里面一封一封看过去，大部分也是出问题事后才会去查的.<br>
<br>
假如你老板平均一天有10封正常邮件和50封垃圾邮件，有一天一个客户给你老板发一封商业合作邮件，但被你的反垃圾系统当作垃圾而放到垃圾邮件夹或归档，老板极其可能没看到这封邮件而把这次生意丢了，你说是管理员责任还是老板责任呢? 如果采用5方式，我们可以在smtp会话里把大部分垃圾邮件直接拒绝掉，有误拒绝的邮件发件人自己会知道，同时容许少部分垃圾邮件当做合法邮件进入你老板的邮箱里，你老板平时最多就多看两三封垃圾邮件当作消遣一下（以前要看50封)，你说老板高兴还来不及还会骂你吗，还会再出现邮件丢失问题吗. <br>
<br>
(说累了，也敲累了，此贴是我的最后回复贴，正确与否还是大家来评吧)