说到电子邮件,所有人对它的印象可能都是过去的。
这几年,随着QQ、微信的普及,电子邮件不再流行,外贸行业也干脆使用了微信。
有人可能会说,我从没见过电子邮件流行的时候。如果你足够年轻,那就有资格说这句话。
但是不可否认,大多数80、90后上网的开始离不开电子邮件。
不用说当时有多有用,但至少你可以用它在同学录上安装一个小X。
每个人登录自己的邮件主页时,都会对进入垃圾桶感到好奇。
在这里可以发现信用卡办理活动,蓝色药丸的折扣营销。
甚至有电子邮件想直接骗你钱。
对方可能是希望你继承大笔资产的非洲王子。
也可能是你家附近500米,免费开门的养女。
,甚至南非总统的第二任妻子也说要给你寄4000万美元,原因你别管,不信的话可以查护照。
每当看到垃圾桶里的这些脑洞比脑袋还大的垃圾邮件时,世界都会好奇。
这个垃圾邮件到底是从哪里来的?邮箱客户端是如何识破并拦截它们的。
今天我们简单谈谈。
世界上第一封垃圾邮件诞生于1978年。
当时,一家电脑公司的销售员为了促销电脑,给阿帕网(网络电报机)的所有用户发了电子邮件,不管别人想不想买。
他们赚钱了,但大家喷得很厉害,美国国防通信机构也批评了他们一顿。
所以在此后的十多年里,没有人敢这样做。
直到1994年,垃圾邮件的真正创作者出现了。
当时人们习惯于在新闻集团订阅各种专栏,专栏收到的邮件会自动转发给订阅者。
有一天,两名律师为了推销自己的业务,向新闻集团反复发送了5500多个专栏。
只有这两个人
那天,很多人发现自己怎么能在各栏看到这封邮件。
接下来的几天里,这两位律师的电话和传真被炸了,骂了一顿。
但是你可能不相信,也可能因为垃圾邮件收到了1。
000 个新客户。相当于几美分的成本赚到了近 10 万美金。嚯,垃圾邮件的巨大利润,一下子暴露在了公众视野里。
有钱不赚,那不大聪明么?
于是人们一个接一个地发起了垃圾邮件,特别是那些平时不让刊登广告的成人用品,趁机会广撒网了一波。
还有人另辟蹊径,开始贩卖邮件地址,有技术的程序员,也开发了一键群发工具。
垃圾邮件的潘多拉魔盒,正式打开了。
自那以后人们发现,不管需不需要,收件箱每天都塞满了保健药物的广告邮件,严重影响自己的生活和工作。
最烦的是,犯罪团伙也利用电子邮件推送欺诈信息,病毒。
这种情况下,反垃圾邮件技术诞生了。
1996 年,有两个工程师开始记录发送垃圾邮件的 IP 地址,填进 RBL 黑洞名单里,名单上的人发来邮件就直接拒收。
虽然深受欢迎,但这法子想破解它也不难。
对方要么是买服务器换个 IP,要么,利用中继服务器就能规避。
这要说到邮箱服务器有个功能叫开放式中继代理,专做好人好事。
如果收到一封不是寄给自己的邮件,就会随手帮忙,再寄出去。
以前互联网不稳定,为了保证邮件顺利送到,大部分服务器都会打开这个功能。
人人为我,我为人人。
可惜啊,这个好功能被垃圾邮件看中了,他们故意把邮件发给老实人服务器,再让其转发出去,规避了黑名单。
在零几年那会,因为起步慢,管理不佳,我国不少服务器就被国外利用,转发了垃圾邮件,结果自己被送上了黑名单。
搞得当时我们和老外做生意发邮件,要么申诉解封,要么也只能用中继服务器,当然,这是另外一个话题了。
图源 Winmail ▼
由此可见,黑名单技术并不算优秀。
所以还有没有其他途径,去判别一个邮件是不是垃圾邮件呢?
有。
你想想,垃圾邮件往往都是几十万封起发,肯定会遇到很多发送失败的情况。
正常邮件发送失败,都会自动重发第二次。
但垃圾邮件可不乐意,因为重发对它们来说,不仅消耗资源,还耽误了大量的时间,业务要紧啦~
基于这个特性,灰名单技术诞生了。
诶,你第一次发给我,我先拒收,你要是好人,你肯定再发第二次对不对。
这样我们就只会接收到正常邮件,屏蔽掉那些垃圾邮件了。
除了不爱重发,垃圾邮件的内容也很有特点:不就是医疗保健、投资、约会之类的嘛。
那把这些词设为关键词,遇到后就塞进垃圾箱,行不行呢?
行是行。但对方想规避也不难,最主要是它会误伤。
不少正常邮件就是因为误碰了关键词,被塞进了垃圾站。
网上还有人总结了关键词列表 ▼
所以关键词过滤垃圾邮件,还需要贝叶斯推断。
贝叶斯推断基于了贝叶斯定理,这玩意咱不好细说,讲清楚最起码再开 2 篇文章。
你只要知道,借助贝叶斯推断,过滤器会基于一群关键词,判定一个邮件为垃圾邮件的概率。
怎么做呢?
我们提供归纳好的正常邮件、垃圾邮件,让过滤器统计每个词出现的频率。
比如,“ 猛男 ” 在垃圾邮件里出现了 78 次,在正常邮件里出现了 5 次;
这样过滤器就能大概推出,邮件里出现“猛男”一词时它为垃圾邮件的概率,假如 90%。
同样其他词概率,也一样计算。
如果我现在收到一封邮件,内容为:我是猛男,喜欢在半夜健身。
我们可不能因为它含有 “ 猛男 ”,就判定它 90% 是垃圾邮件。
而是要把 “ 喜欢 ” “ 半夜 ” “ 健身 ” 这些词一起算,求一个联合概率!
这样算出来的,才是一个内容为“ 我是猛男,喜欢在半夜健身 ”邮件,为垃圾邮件概率是多少。
这个就是贝叶斯推断,只要我们收到的邮件越多,过滤器就会判断得越准。
当然了,实际计算要复杂很多,我们不细讲,点到即止。
到这里我们说的过滤方法,都是基于垃圾邮件的特征,比如不喜欢重发、关键词。
但还有一类垃圾邮件更猥琐,它不会展现出明显特征,而是伪造成官方运营商,来骗你敏感信息。
下面这张图里,是一份“ 比尔盖茨 ”寄来的邮件,从姓名和邮件地址来看,都是对的。
这就代表它真的来自比尔盖茨了吗。
网络邮箱的运行机制和微信、QQ双向通讯不同,它是单向通信。
给别人发邮件,就是直接丢个包裹给服务器,说:我是 A,把这东西送给 B。
这一步就类似于寄快递。
你明明不是吴彦祖,但你完全可以在寄件人那栏,填上 “ 吴彦祖 ”。
类似的,发邮件时只要配合一些工具,我完全可以把自己写成名人、运营商、银行,谁对我作案有利,我就是谁。
有网站可以伪造发件人 ▼
为了解决这个问题,大家就多了一步验证技术,比如常见的 SPF( Sender Policy Framework )。
一般大型运营商、银行都会采用这个技术防止别人假冒自己。
SPF 的原理,就好比每个运营商、银行,在自家门口放个公告板,告诉大家只有来自 138.138.138.138、139.139.139.139 等 IP 才是他们的邮件。
假若有人用它们名号去发邮件,服务器会对比 IP 地址。
要是对不上,那就判为假冒,直接打回。
随着发展,邮件认证技术后来还有 Domainkeys 以及改进版 DKIM,世超就不再多讲了。
那既然有这么多的反击手段,垃圾邮件有消停吗?
并没有。
2011 年,美国有大学做了实验估算发送垃圾邮件的收入,结果发现,如果卖的是伟哥,一天能赚 7000 美元。
所以,纵使我们有一万个方法对付垃圾邮件,但因为利润足够吸引人,它们依然是打不死的小强,每年还是数千亿封的往外发送,用各种方式逃过拦截。
2017 年以前,世界上发出的大部分邮件,还都是垃圾邮件。
你可能觉得这件事离自己挺远,那除了因为不怎么用电子邮件,更多是,每一秒钟在看不见的世界,反垃圾邮件系统都在和无数垃圾邮件做斗争,保护你的邮箱。
这场较量也许还会持续很久很久,但随着科技发展,反击技术提升,垃圾邮件的消失一定是最后结局。