说到电子邮件,所有人对它的印象可能都是过去的。
这些年随着QQ、微信的普及,电子邮件已经不流行了,哪怕外贸行业,老外和我们做生意也索性用起了 WeChat。
可能有人说,我都没见过电子邮件流行的时候。如果你够年轻,那有资格说这话。
但不可否认,大多数 80、90 后网上冲浪的开始,都离不开一个 E-mail。
不说它当时有多大用吧,但最起码你能用它在同学录上装个小 X。
大家登录自己的邮件主页时,应该好奇点进过垃圾箱。
在这里,你可以发现信用卡办理活动,蓝色小药丸的打折营销。
甚至,还有一批想直接骗你钱的邮件。
对方可能是想让你继承大笔资产的非洲王子。
也可能是你家附近500米,能免费上门的洋妞。
甚至是南非总统第二任太太,说要寄给你 4000 万美金,原因你别管,不信可查护照。
每次看到垃圾箱里这些脑洞比脑子还大的垃圾邮件,世超就好奇:
这些垃圾邮件到底哪来的?邮箱客户端又是怎么识破它们,把它们拦截了。
今天咱们就简单聊聊。
世界上第一份垃圾邮件,诞生在1978年。
当时一家电脑公司的销售员为了促销电脑,压根不管别人想不想买,一股劲地把邮件发给了阿帕网( 互联网上前身 )上所有用户。
尽管他们猛赚了一笔钱,但被大家喷得很惨,美国国防通信机构也批评了他们一顿。
所以后来十几年,都没有人敢这么做。
直到 1994 年,垃圾邮件真正的始作俑者出现了。
当时人们习惯在新闻组上订阅各种栏目,栏目收到的邮件会自动转发给订阅者。
有天,两名律师为了推销自己的业务,把邮件反复发给了新闻组上 5500 多个栏目。
就这两人▼
那天很多人发现,自己怎么在每个栏目里都能看到这个邮件啊。。
接下来那几天,这两位律师的电话、传真被人打爆,接起来就是一顿骂。
但说出来你可能不信,也因为垃圾邮件,他们获得了 1000 个新客户。相当于几美分的成本赚到了近 10 万美金。
嚯,垃圾邮件的巨大利润,一下子暴露在了公众视野里。
有钱不赚,那不大聪明么?
于是人们一个接一个地发起了垃圾邮件,特别是那些平时不让刊登广告的成人用品,趁机会广撒网了一波。
还有人另辟蹊径,开始贩卖邮件地址,有技术的程序员,也开发了一键群发工具。
垃圾邮件的潘多拉魔盒,正式打开了。
自那以后人们发现,不管需不需要,收件箱每天都塞满了保健药物的广告邮件,严重影响自己的生活和工作。
最烦的是,犯罪团伙也利用电子邮件推送欺诈信息,病毒。
这种情况下,反垃圾邮件技术诞生了。
1996 年,有两个工程师开始记录发送垃圾邮件的 IP 地址,填进 RBL 黑洞名单里,名单上的人发来邮件就直接拒收。
虽然深受欢迎,但这法子想破解它也不难。
对方要么是买服务器换个 IP,要么,利用中继服务器就能规避。
这要说到邮箱服务器有个功能叫开放式中继代理,专做好人好事。
如果收到一封不是寄给自己的邮件,就会随手帮忙,再寄出去。
以前互联网不稳定,为了保证邮件顺利送到,大部分服务器都会打开这个功能。
人人为我,我为人人。
可惜啊,这个好功能被垃圾邮件看中了,他们故意把邮件发给老实人服务器,再让其转发出去,规避了黑名单。
在零几年那会,因为起步慢,管理不佳,我国不少服务器就被国外利用,转发了垃圾邮件,结果自己被送上了黑名单。
搞得当时我们和老外做生意发邮件,要么申诉解封,要么也只能用中继服务器,当然,这是另外一个话题了。
图源 Winmail ▼
由此可见,黑名单技术并不算优秀。
所以还有没有其他途径,去判别一个邮件是不是垃圾邮件呢?
有。
你想想,垃圾邮件往往都是几十万封起发,肯定会遇到很多发送失败的情况。
正常邮件发送失败,都会自动重发第二次。
但垃圾邮件可不乐意,因为重发对它们来说,不仅消耗资源,还耽误了大量的时间,业务要紧啦~
基于这个特性,灰名单技术诞生了。
诶,你第一次发给我,我先拒收,你要是好人,你肯定再发第二次对不对。
这样我们就只会接收到正常邮件,屏蔽掉那些垃圾邮件了。
除了不爱重发,垃圾邮件的内容也很有特点:不就是医疗保健、投资、约会之类的嘛。
那把这些词设为关键词,遇到后就塞进垃圾箱,行不行呢?
行是行。但对方想规避也不难,最主要是它会误伤。
不少正常邮件就是因为误碰了关键词,被塞进了垃圾站。
网上还有人总结了关键词列表 ▼
所以关键词过滤垃圾邮件,还需要贝叶斯推断。
贝叶斯推断基于了贝叶斯定理,这玩意咱不好细说,讲清楚最起码再开 2 篇文章。
你只要知道,借助贝叶斯推断,过滤器会基于一群关键词,判定一个邮件为垃圾邮件的概率。
怎么做呢?
我们提供归纳好的正常邮件、垃圾邮件,让过滤器统计每个词出现的频率。
比如,“ 猛男 ” 在垃圾邮件里出现了 78 次,在正常邮件里出现了 5 次;
这样过滤器就能大概推出,邮件里出现“猛男”一词时它为垃圾邮件的概率,假如 90%。
同样其他词概率,也一样计算。
如果我现在收到一封邮件,内容为:我是猛男,喜欢在半夜健身。
我们可不能因为它含有 “ 猛男 ”,就判定它 90% 是垃圾邮件。
而是要把 “ 喜欢 ” “ 半夜 ” “ 健身 ” 这些词一起算,求一个联合概率!
这样算出来的,才是一个内容为“ 我是猛男,喜欢在半夜健身 ”邮件,为垃圾邮件概率是多少。
这个就是贝叶斯推断,只要我们收到的邮件越多,过滤器就会判断得越准。
当然了,实际计算要复杂很多,我们不细讲,点到即止。
到这里我们说的过滤方法,都是基于垃圾邮件的特征,比如不喜欢重发、关键词。
但还有一类垃圾邮件更猥琐,它不会展现出明显特征,而是伪造成官方运营商,来骗你敏感信息。
下面这张图里,是一份“ 比尔盖茨 ”寄来的邮件,从姓名和邮件地址来看,都是对的。
这就代表它真的来自比尔盖茨了吗。
网络邮箱的运行机制和微信、QQ双向通讯不同,它是单向通信。
给别人发邮件,就是直接丢个包裹给服务器,说:我是 A,把这东西送给 B。
这一步就类似于寄快递。
你明明不是吴彦祖,但你完全可以在寄件人那栏,填上 “ 吴彦祖 ”。
类似的,发邮件时只要配合一些工具,我完全可以把自己写成名人、运营商、银行,谁对我作案有利,我就是谁。
有网站可以伪造发件人 ▼
为了解决这个问题,大家就多了一步验证技术,比如常见的 SPF( Sender Policy Framework )。
一般大型运营商、银行都会采用这个技术防止别人假冒自己。
SPF 的原理,就好比每个运营商、银行,在自家门口放个公告板,告诉大家只有来自 138.138.138.138、139.139.139.139 等 IP 才是他们的邮件。
假若有人用它们名号去发邮件,服务器会对比 IP 地址。
要是对不上,那就判为假冒,直接打回。
随着发展,邮件认证技术后来还有 Domainkeys 以及改进版 DKIM,世超就不再多讲了。
那既然有这么多的反击手段,垃圾邮件有消停吗?
并没有。
2011 年,美国有大学做了实验估算发送垃圾邮件的收入,结果发现,如果卖的是伟哥,一天能赚 7000 美元。
所以,纵使我们有一万个方法对付垃圾邮件,但因为利润足够吸引人,它们依然是打不死的小强,每年还是数千亿封的往外发送,用各种方式逃过拦截。
2017 年以前,世界上发出的大部分邮件,还都是垃圾邮件。
你可能觉得这件事离自己挺远,那除了因为不怎么用电子邮件,更多是,每一秒钟在看不见的世界,反垃圾邮件系统都在和无数垃圾邮件做斗争,保护你的邮箱。
这场较量也许还会持续很久很久,但随着科技发展,反击技术提升,垃圾邮件的消失一定是最后结局。