AV-Comparatives

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

安全产品“真实世界”

动态保护测试

Real-World

Pro-

2012

3-6

语言 : 简体中文

2012

7

最后修订:

2012

7

16

www.av-comparatives.org

- 1 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

目录

简介

................................... 2

测试程序

................................ 4

实验室设置

.............................. 4

硬件和软件

.............................. 4

设置

................................... 5

为每个测试日的准备

........................ 5

每个恶意网址的测试周期

.................... 5

测试集

.................................. 6

测试的产品

.............................. 7

测试案例

................................ 8

测试结果

................................ 9

测试结果汇总(

3

-6

月)

.................. 9

本次测试产品成绩

......................... 14

版权及免责条款

........................... 15

- 2 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

简介

恶意软件带来的威胁与日俱增。这不仅仅体现在恶意程序数量的增加上,它还包括这

些恶意程序本身不断快速的演变。恶意程序对用户电脑的威胁方式也正在改变,不再是用

简单的基于文件的方式来传播恶意代码,而是演变成借助互联网来传播。

总之,恶意软件不断的变换各种伎俩威胁用户的电脑,例如诱骗用户访问受感染的网

页、安装流氓 / 恶意软件或打开带有恶意软件附件的电子邮件等等。杀毒软件也在通过增

加防御功能扩大其为用户提供的保护范围,例如:网址拦截、内容过滤、反钓鱼措施和人

性化的行为拦截。如果这些功能与安全产品提供的基于签名的检测和启发式检测完美融合,

那么防病毒安全产品抵御威胁的能力将大大提高。

尽管有了这些新技术(提供防御功能),但继续对防病毒程序的基于签名和启发式检

测的功能进行检测,仍然是非常重要的。也正是因为这些新的威胁,使基于签名 / 启发式

检测的方法变得越来越重要。“零日”攻击变得日益频繁,这也意味着受恶意软件感染的

危险程度在不断地增加。如果攻击不是被“传统”或“非传统”的方法截获,那么电脑就

会被感染,而且恶意软件只能通过基于签名的按需扫描和启发式扫描,才可能被发现(并

有希望被删除)。对于已感染的文件,由于额外的保护技术并不提供对现有存储数据的扫

描,所以,在许多公司的文件服务器中仍然可以找到已被感染的文件。这些新的安全保护

措施应被理解为防病毒软件良好检测率的补充,而不是代替。

在本次测试中,参与测试产品的所有功能都发挥了保护作用,而不只是一部分功能

(如签名

/

启发式文件扫描)起作用。因此,提供的保护应该比仅使用部分功能检测病毒

的能力要高。我们建议,一个产品的所有功能,在检测病毒时都应有较高的查杀能力,不

应只提供某种单一的功能(如网址拦截只有在浏览网页时才提供保护,但不能防御用其他

方法引入的恶意软件,或系统上已经存在的恶意程序)。

防病毒安全产品“真实世界”动态测试是

AV-Comparatives

和因斯布

鲁克大学计算机科学与质量工程学院的一个合作项目。部分测试工作得到了奥

地利政府的资助。

- 3 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

测试程序

每天要使用上百个网址测试数十家防病毒产品。如果这些工作仅通过手动完成的话,

工作量之大可以想象(因为对这成千上万的网站的访问是同时进行的),所以还是有必要

通过一些自动化来完成。

实验室设置

每个待测试的安全程序都被安装在单独的测试电脑中。所有电脑都连接到互联网。每

个电脑系统与其操作系统和安装的防病毒程序都被“冻结”。整个测试是在真实的工作机

上执行的。我们不使用任何类型的虚拟机。每个工作机都有自己的互联网连接和外部 IP

地址。我们与几个供应商达成了特殊的协议(故障转移群集和不阻止任何流量),以确保

稳定的互联网连接。使用真正的互联网连接执行测试。我们采取了必要的预防措施(使用

特别配置的防火墙等),以防止对其他电脑的感染(即不引起病毒爆发)。

硬件和软件

本次测试,我们使用了相同的工作机、指令服务器和网络附加存储(

NAS

)。

工作机

控制服务器

存储

厂商 型号

Dell

Dell

Eurostor

Optiplex 755

Optiplex 755

ES8700-Open-E

中央处理器(

CPU

内存

RAM

Intel Core 2 Duo 4 GB

Intel Core 2 Duo 8 GB

Dual Xenon 32 GB

硬盘

80 GB

2 x 500 GB

140 TB

Raid 6

测试是在

Windows XP SP3

下运行的,该操作系统在

2012

3

1

日更新。此外

安装的一些易受攻击的软件包括:

厂商

Adobe

Adobe

Adobe

Apple

产品 版本

Flash Player ActiveX 10.1

Flash Player Plug-In 10.0

Acrobat Reader

QuickTime

Microsoft Internet Explorer

8.0

7.1

7.0

厂商 产品 版本

Microsoft

Office Professional

2003

Microsoft .NET Framework 4.0

Mozilla

Sun

VideoLAN

Firefox

Java

VLC Media

Player

9.0.1

6.0.140

1.1.11

- 4 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

我们原计划今年测试时,使用全面更新

/

打过补丁的系统,但由于缺乏足够的“攻击

测试场”,我们不得不换回到老的

/

易受攻击的

/

未打补丁的操作系统和软件版本。这至少

也能提醒用户,让自己的操作系统和应用程序始终保持最新,以尽量减少因使用未打补丁

的软件而受感染的风险。

设置

我们使用每款安全套装及其默认(开装即用型)的设置。我们的整体产品动态测试,

旨在模拟真实世界中的条件,比如用户每天经历、遇到的种种情况。如果(软件程序)需

要用户干预,我们选择允许。即使开始时,(安全软件程序)需要有用户干预,只要系统

能够得到保护,我们也算它拦截成功。如果系统被感染,我们将它算作依靠用户参与。我

们认为,“保护”就应该是让系统不会受到感染。也就是说没有恶意软件在运行(或已被

删除或终止),而且没有明显的或恶意软件引起的系统变化。关于对正在运行病毒而发出

的出站防火墙警报,它阻碍了网络流量,使用户工作机联网太少 / 晚,我们不将它看做是

保护。

为每个测试日的准备

每天早晨,更新所有的杀毒软件,制作当天新的基本镜像文件。这样可以确保安全产

品在白天不会进行较大的更新,而且至少可以利用 早上的(时间)更新,就如同现实世

界中用户的使用习惯。

每个恶意网址的测试周期

在浏览每一个新的恶意网址或测试案例前,我们都要更新程序或病毒库。产品的主要

新版本每月安装一次(即建立编号的第一位数字不同),这也是我们在每月报告中,只给

出产品的主要版本号的原因。我们的测试软件启动了电脑实时监控,所以被恶意软件所作

的任何修改都会被记录下来。此外,检测识别算法能够检查杀毒程序是否检测到恶意软件。

每个测试事项结束后,机器恢复到其原来准备的状态。

保护

- 5 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

安全产品应该能够保护用户的电脑。但保护机制从哪个阶段开始并不重要。它既可以

在用户浏览网站时(例如通过网址拦截提供保护),也可以在恶意软件试图运行或当下载

文件

/

创建文件时,或当恶意软件被执行时(要么由用户执行要么由恶意软件执行)。恶

意软件被执行后(如果之前未被阻止),我们让恶意程序运行几分钟,这也是为了给恶意

行为拦截程序做出反应留出时间,并对恶意软件的破坏结果执行解救操作。如果没有检测

到恶意软件,但系统确实是受到感染

/

损害,那么测试进程进入“系统受损”环节。但是,

如果必需要求用户进行干预的,并且如果需要由用户决定某个程序是否是恶意软件,或者

在最不好的情况下需要由用户确定系统是否受损,我们将此归为“依靠用户参与”。 因

此,测试图表中的黄栏即可以理解为被保护,也可以理解为未被保护(这取决于用户的理

解)。

由于该动态测试是以模拟真实世界的条件和几种不同的技术方式(例如云扫描技术,

信誉评估服务等)来进行的,因此必须面对的事实是,这种测试不能重复或复制,例如静

态检测率测试。无论如何,我们记录更多合理的可能性,来证明我们的发现和结论。我们

请参加检测的厂商提供各自产品中有用的记录,如果产生异议,通过此记录可以为他们提

供更多想要的证据和数据。每次测试后,厂商都有时间对我们结论中反映的受到威胁的情

况提出异议,以便我们重新检查自动化测试系统或我们的分析结果中可能存在的问题。

如果是云产品,我们将只考虑该产品在测试时的结果 ; 有时安全厂商提供的云服务,

由于故障或厂商的维护而停机,但对此厂商往往不披露或通知给用户。这也是如果产品过

多依赖云服务(而不使用本地启发式、行为拦截等)可能会产生风险的原因,在这种情况

下,产品所提供的安全性会明显下降。

安全产品中使用的云特征码

/

信誉服务,应该用来配合其他的保护功能(如本地实时

扫描和启发式、行为拦截等),而不应完全取代这些功能,如离线云服务可能意味着用户

的电脑被过高的置于风险当中。

测试集

我们测试的重点主要包括当前可见的以及,对普通用户而言会产生问题的相关恶意网

站 / 恶意软件。我们努力的在测试集中,将大约 40-50 %的直接指向恶意网站的网址包括

进来。例如,用户被社会工程黑客欺骗而误入的垃圾邮件中的链接或网站,或者用户被欺

骗而安装的一些木马或其他恶意软件。剩下的是偷渡式下载漏洞 通常情况下,这些恶意

程序会被所有主流安全产品检测出来,这可能也是得分看起来较高的原因所在。

- 6 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

我们用自己的爬网系统不断地搜索恶意网站并选取恶意网址(包括垃圾邮件的恶意链

接)。我们还手动搜索恶意网址。如果一天之中,我们的内部抓取工具无法找到足够的有

效恶意网址,我们的一些外部签约分析员会

AV-Comparatives

专门提供额外的恶意网址。

在这种测试中,使用足够的测试案例是非常重要的。如果在比较测试中使用的样本数

量不足,那么不同的测试结果可能并不能代表测试的产品

1

之间的实际差异。我们认为,即

使在我们的测试中(使用几千个网址作为测试案例),只要被测的产品对于测试集文件或

网站的错误拦截率不超过行业平均水平,那么,处于相同保护集群的产品,实际上基本是

等同的。

总评

大多数操作系统已经包含了自己的防火墙、自动更新、甚至在下载或执行文件前,可

能会询问用户是否真的要执行这些操作,并会警示用户,下载或执行文件可能存在风险。

邮件客户端和 Web 邮件也包含垃圾邮件过滤器。此外,大多数浏览器都有弹出窗口拦截器、

钓鱼网站或

URL

过滤器以及删除

Cookie

的能力。但是,这些仅仅是一些内置的保护功能,

尽管这些功能存在,系统仍然逃脱不了被感染的可能。因为对于这种情况,大多数发生在

普通用户身上,他们可能会被社会工程黑客诱骗,而访问这些恶意网站或安装这些恶意软

件。用户对安全产品真正期望的是,对于是否真的要执行某个文件,(安全产品能够独立

判断)不需要征求用户的意见等,但又期望安全产品能在任何情况下都能保护他们的系统,

不管他们做什么(例如,执行未知的文档)都无需去考虑风险之类的问题。我们尽力来为

最终用户提供通俗易懂的测试报告。我们也在不断地努力,改善我们的自动化系统,以便

为读者和用户提供一个能够更好地了解产品功能的平台。

测试的产品

作为主测试系列之一的安全产品“真实世界”动态测试,以下产品参与了正式的测试。

虽然也有其他版本的产品会比较合适(根据厂商的要求参与测试或替换产品),但因为测

试的是每种产品针对现实世界各种威胁提供的“保护”, 所以在此类测试中,我们通常

使用互联网安全套装。

1

更多内容请点击下列链接: http://www.av-comparatives.org/images/stories/test/statistics/somestats.pdf

- 7 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

每月测试使用的主要产品版本:

厂商 产品

AhnLab

Avast

AVG

Avira

V3 Internet Security

Free Antivirus

Internet Security

Internet Security

Bitdefender

Internet Security

BullGuard

Internet Security

eScan

Internet Security

ESET

F-Secure

PC Tools

Smart Security

Internet Security

Fortinet

G DATA

GFI

FortiClient Lite

Internet Security

Vipre Internet Security

Kaspersky

Internet Security

McAfee

Internet Security

Panda

Cloud Free Antivirus

Internet Security

Internet Security

奇虎

360

Sophos

Endpoint Security

腾讯

PC Manager

Trend Micro

Titanium Internet Security

Webroot

SecureAnywhere Complete

4.3.3

2012

2012

2012

2012

1.5.2

2012

3.0

10.0

6.6

2012

2012

3

月份

版本

8.0

7.0

2012

2012

2012

12.0

11.0

5.0

2012

测试案例

测试时间

2012

3

5-27

2012

4

2-23

2012 年 5 月 4-22 日

2012 年 6 月 4-23 日

总 计

测试案例数量

512

492

464

691

2159

2012

1.5.2

2012

3.0

10.0

6.6

2012

2012

5

月份

版本

8.0

7.0

2012

2012

2012

12.0

11.0

5.0

2012

4.3.3

2013

2012

2012

2012

1.5.2

2012

3.0

10.0

6.6

2012

2012

4

月份

版本

8.0

7.0

2012

2012

2012

12.0

11.0

5.0

2012

4.3.3

2012

2012

2012

2012

1.5.2

2012

3.0

10.0

6.6

2012

2012

6

月份

版本

8.0

7.0

2012

2012

2012

12.0

11.0

5.0

2012

4.3.3

2013

2012

2012

- 8 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

测试结果

以下是对过去几个月测试的总览。我们网站

2

的互动图,可以看到百分比:

March 2012 – 512 test cases April 2012 – 492 test cases

May 2012 – 464 test cases June 2012 – 691 test cases

我们不为此项测试提供单独的月度测试结果报告,以避免厂商对测试集只因很少几个

案例的微小差别而滥用当月的测试结果,来声称自己的产品比其他产品好。我们在汇总报

告中,标明使用的测试数量,这里包含的测试案例更多,也可以让您观察到更明显的差别。

有兴趣的用户,如果想查看各个安全产品所达到的确切的拦截率(不包括误报率),可以

通过我们的官网

3

来阅读每月更新的交互式图表。

测试结果汇总

(3

-6

)

测试时间:

2012

3

–6

(

2159

个测试案例

)

2 http://www.av-comparatives.org/comparativesreviews/dynamic-tests

3 http://chart.av-comparatives.org/chart2.php

and http://chart.avcomparatives.org/chart3.php

- 9 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

BitDefender

G DATA

Kaspersky

Qihoo

BullGuard

F-Secure

Avast

ESET

AVIRA

Sophos

Trend Micro

AVG

GFI

Panda eScan

PC Tools

Tencent

Fortinet

McAfee

AhnLab

Webroot

自动阻止

2150

2147

2146

2143

2131

2135

2110

2117

2107

2112

2108

2103

2102

2097

2094

2024

2052

2046

2041

1999

1963

用户参与

1

13

-

-

6

-

-

1

2

6

21

10

28

-

-

126

32

-

6

-

1

未阻止

41

39

47

51

50

57

9

11

11

10

7

14

21

62

65

9

75

113

112

160

195

拦截率

[ 自动阻止 % + ( 用户参与 %)/2]

4

99,6%

99,5%

99,4%

99,4%

99,2%

99,1%

98,4%

98,1%

97,9%

97,8%

97,6%

97,5%

97,4%

97,1%

97,0%

96,7%

95,8%

94,8%

94,7%

92,6%

90,9%

集群

5

下面的图表显示以上安全产品的拦截率(所有样本),包括个别月份的最低和最高拦

2

2

2

2

2

2

1

1

1

1

1

1

2

3

3

4

4

2

2

2

3

截率。

4

需要用户参与的情况下,只被赋予半数的可信度。例如:如果一个安全程序通过本身的功能拦截成功,它

获得

80

%的拦截率可信度,再加上需要用户参与后才拦截成功,那么它可获得另外

20

%的信誉可信度,而

我们只给予依靠用户参与这种情况半数的可信度,因此它的完全可信度只有 90 %。

5

系统聚类法:使用群体之间(欧氏距离)的平均拦截率连接定义四个群组(参见第

13

页的树状图)。

- 10 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

安全产品“误报”测试(错误拦截的域或文件)

安全产品“真实世界”动态测试的误报测试由两部分组成:(浏览时)错误拦截的域

和(下载 / 安装时)错误阻止的文件。两种情况都进行测试是非常有必要的,因为如果仅

测试上述两种情况之一,可能会使主要功能只侧重于一种防御方法,如侧重于

URL

或信誉

服务过滤,或侧重于如访问时

/

基于行为的保护的产品处于不利的地位。

a) (

浏览时

)

错误拦截域

我们使用了大约 2000 多个随机选择的热门域名。如果拦截了非恶意的域名或网址,

则被看成是误报。被错误拦截的域已上报给各厂商审查,目前应该已得到解决。

如果拦截整个域,安全产品所造成的风险,可不仅仅是只会产生让人不信任的警告那

么简单,最终会给域的所有者造成潜在的经济损失(除了损害网站声誉外),还可能导致

如广告收入的损失。因此,我们强烈建议厂商,只有在域的唯一目的是执行或提供恶意代

码的情况下,阻止整个域,否则仅阻止恶意网页(只要确实是恶意的)。侧重于拦截基于

网页信誉的网址的安全产品,可能在这方面的测试中会得到较高的分,因为他们可能会拦

截许多不受欢迎的或新的站点。

B

)(下载

/

安装时)错误地阻止文件

我们使用了

100

多个不同的应用程序,这些应用程序被

16

个不同的流行下载网站列

为热门下载或推荐下载。从原始开发者网站下载应用程序后(而不是从门户网站下载),

保存到磁盘中并安装,从而观察应用程序在此过程中是否在任何阶段被拦截。

安全产品的责任是抵御恶意站点或不良的程序文件,而不能是删减或限制用户仅访问

著名的受欢迎的应用程序和网站。如果用户非要选择那些提示用户可能阻止一些合法站点

或文件的高安全设置,这种情况下,或许可以考虑接受。然而,作为默认设置,用户未得

到警示的,我们认为这并不可取。由于测试是在某个时点上准时完成的,且关于非常流行

的软件或网站的误报测试通常会被察觉,并在几个小时内修复,所以,要碰上非常流行的

应用程序误报是非常令人感到意外的。因此,如果在已完成的误报测试中,例如只针对很

受欢迎的应用程序,或只使用已列入白名单的下载网站的前

50

个文件的话(都是被安全

厂商监控的),那么,可能会是一种时间和资源的浪费。即使少数的用户,当自己的电脑

被某些恶意软件感染时,会感觉郁闷 ( 因为,使用同样的安全软件,凭什么只有自己被感

染,而不是大部分用户),同样,当唯独只有他们的电脑受到某些误报的影响时,也会不

- 11 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

舒服。当然,误报最好不要对太多的用户造成影响,也不管多少用户被感染或成为病毒感

染或攻击的目标,能有效地避免任何误报并抵御任何恶意程序文件,才应该是安全软件的

目标所在。安全厂商内部的品质保证测试所关注的是,基于用户数据的误报的广泛程度,

但是对普通用户最重要的是,要知道安全产品对于识别正常和恶意文件的精确程度。

下表显示的是,被错误拦截的域名或文件数量:

AhnLab, AVG, BitDefender, eScan,

G DATA, McAfee, Panda, Webroot

F-Secure, Qihoo, Tencent,

Kaspersky

ESET

PC Tools

AVIRA

Sophos, Fortinet

Avast

Trend Micro

BullGuard

GFI

错误拦截的正常域

/

文件(自

动阻止

/

依靠用户参与

- / - (-)

6

1 / - (1)

- / 3 (3)

2 / - (2)

4 / - (4)

5 / - (5)

average (7)

10 / - (10)

- / 28 (28)

21 / - (21)

21 / 4 (25)

34 / - (34)

错误拦截得分

7

-

1

1.5

2

4

5

6

10

14

21

23

34

由于测试的安全产品错误地拦截网站

/

文件,所以,我们需要确定在评测计划中必须

降级的产品。我们使用了聚类分析法,同时也参考了平均分,最后经过研究并作出艰难的

决定。

以下产品因误报超过平均值不得不被降级:

Avast, BullGuard, Fortinet, GFI, Sophos

Trend Micro

6

对于用户来说,虽然需要用户参与这种设置相当恼人(尤其是关于正常的文件),但这些安全产品的“错

误拦截率”仅被计为 0.5

(如同拦截率)。

7

越低越好。

- 12 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

奖评图解

树状图(根据群体之间的平均联动)显示的是聚类分析的结果。它将相似水平的目标

连接起来。红色的垂直起草线定义水平相似的目标。每个交叉线表示一个组(在这种情况

下,共分成 4 组)。误报数超过平均值的产品用红色书记(且在第 14 页上,根据排序系

统被降级)。

- 13 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

本次测试产品取得的奖评

评测奖励是测试人员在对测试结果(经过研究统计模型后)的对比研究基础上做出的

决定。

以下是各安全产品在本次安全产品“真实世界”动态测试中取得的奖评结果:

成绩

产品

BitDefender

G DATA

Kaspersky

Qihoo

F-Secure

BullGuard*

ESET

AVIRA

AVG

Panda eScan

PC Tools

Avast*

Sophos*

Trend Micro*

GFI*

Tencent

McAfee

Fortinet*

AhnLab

Webroot

*

由于错误地拦截网站或文件(误报)分数超过平均值被降一级。

排序系统

<

误报

>

误报

拦截得分集群

8

4

已测试

已测试

拦截得分集群

3

标准

已测试

拦截得分集群

2

优秀

标准

拦截得分集群

1

最佳

优秀

那些不关心错误阻止文件或网站(误报)的专家级用户,可以自由的参考第 9 页的拦

截率,而不需考虑我们因评测排名而考虑的误报。

8

请参阅第 9 页的拦截得分集群。

- 14 -

安全产品“真实世界”动态保护测试

– 2012

3-6

月 www.av-comparatives.org

版权及免责声明

本报告的版权 ©2012 归 AV-Comparatives e.V.® 所有。任何出版物对本测试结果

的使用,无论是全部或部分,都必须先得到

AV- Comparatives

管理部门明确的书面同

意并允许。对使用本报告提供的信息,可能会产生或导致的损害或损失,

AV- Comparatives

和参与测试的人员,不承担责任。我们竭尽一切可能,确保基本数据的正确性,

但并不代表 AV- Comparatives 对测试结果的正确性需要承担义务。对报告的正确性,

完整性,或者在任何特定的时间,对报告提供的内容是否适合特殊目的的需求,我们不做

任何保证。对于在创建,生成或发表测试结果过程中,所涉及到的任何人,对任何间接的,

特殊的损害或利益损失,使用或不能使用该网站提供的服务,测试文件或任何相关的数据

引起的或与之相关的事宜,均不承担任何责任。

AV - Comparatives

是在奥地利注册的

非盈利性组织。

更多关于

AV - Comparatives

及测试方法,请访问我们的网站。

AV-Comparatives e.V.

2012

7

月)

- 15 -

Was this manual useful for you? yes no
Thank you for your participation!

* Your assessment is very important for improving the work of artificial intelligence, which forms the content of this project

Download PDF

advertisement