일단 그냥 결과를 퉤. 하고 올리는것도 중요하지만, 그걸 어떻게 해석해서 보느냐도 중요하기 때문에, 어떤 항목을 어떻게 보고 이런 평가를 어떻게 받아들여야 잘 받아들이는걸까. 라는 부분을 좀 설명해보도록 하겠습니다.
절대 제가 올릴 타이밍을 놓쳐서 이러는거 맞습니다. 넵. -_-
1. AV-Test ( http://www.av-test.org )
AV-Test는 크게 세가지 항목을 기준으로 삼습니다. 성능이 좋을수록 최고점을 부여하는 간단한 방식...이긴 한데, 설명이 잘 되어 있지 않은 관계로 혼돈의 가능성이 크다는 문제가 있습니다. 물론 해당항목을 잘 이해하고 있는 사람에게는 간단하게 성능까지 알아볼수 있는 좋은 지표가 됩니다.
장점 : 테스트를 무지 많이한다. 업데이트가 빠르다.
단점 : 윈 10에 소홀하다(...). 사전 지식이 없을경우 점수의 배점에 혼돈을 가질 가능성이 매우 크다.
- Protection : 크게 두가지 방법을 테스트 한 결과입니다.
1) 제로데이공격+웹/이메일을 통한 공격을 얼마만큼 방어했느냐
2) 시험일 기준 최근 4주간 검출이 많이 된 멀웨어 샘플의 검출 확률
- Performance : 시스템에서의 검사속도와 설치 편의성입니다.
실제로는 비중이 가장 낮은 부분인데, 그도 그럴것이 시스템 사양이 전반적으로 올라가고, 최적화 기술도 상승하고 있기 때문입니다. 실질적으로는 인터페이스가 먹고 가는 점수도 꽤 있기 때문에 중요도는 낮은편. 이지만 이게 개판이면 쓰기 불편한게 사실입니다.
- Usability : 가장 많은 혼돈을 겪는 부분인데, 오작동과 유용성 항목입니다.
유용성은 시스템 최적화니 이런 보조적 도구들을 말하고, 오작동은 말 그대로 멀쩡한 프로그램을 멀웨어라고 두들겨패는가 아닌가, 혹은 멀웨어를 감시하지 못하고 멀쩡한놈으로 간주하는가를 측정하는 값입니다. 보통 멀웨어 감지는 Protection항목에서 채점이 되는만큼, Protection점수가 높으면서 Usability점수가 낮은 경우 오작동이 많을 가능성이 있습니다.
2. AV Comparative ( http://www.av-comparatives.org )
AV Comparative는 워낙 정리를 눈에 보기 쉽게 해놓고, 또 그 결과값도 별도의 해석이 없을만큼 심플하기 때문에 개인적으로 참 좋아라 합니다. 기본적으로 Real-world Test를 베이스로 깔고 있기 때문에 실 사용자들에게 가장 와닿는 결과를 보여줄 가능성이 높고, 또 그거 말고도 다양한 테스트를 보여주기 때문에 개인적으로는 가장 참고를 해야하지 않나... 싶은 부분입니다.
장점 : 업데이트가 빠르다. 결과의 이해가 쉽다.
단점 : 사용자수가 적은 운영체제(리눅스라던가... OS X 라던가...)에 대해서는 배려심이 하나도 없다.
검사 항목은 그래프로 발표가 되며 ( http://chart.av-comparatives.org/chart1.php ), 항목은 다음과 같은 결과값을 보여줍니다.
- Compromised
멀웨어에 "뜷린겁니다". 당연히 이 값은 낮을수록 좋습니다.
- User Dependent
백신에서 뭔가 이상한 낌새를 찾아내긴 했는데 자동으로 처리하진 않고 사용자의 명령을 대기하는 상태가 된 경우입니다.
"뭔가 수상한거 나왔는데 우짤겨? Y/N"을 묻는 경우라고 생각하시면 맞습니다.
- False Positives
멀쩡한 프로그램을 멀웨어로 오진한 경우를 나타냅니다. 이건 퍼센트가 아니라 건수라는 점을 주의해서 봐야합니다.
개인적으로는 맨 먼저 False Positives를 보고, 그 다음 Compromised가 적은 백신을 고릅니다.
3. VB 100 ( https://www.virusbulletin.com )
마이너도 꽤 잘 취급하고, 무엇보다 휴리스틱 분석까지 채점하는 테스트입니다. 항목이 디테일하긴 한데, 결국 인증의 핵심은 바이러스 검출에서 실수를 하느냐 마느냐(...)로 보이는 간편성도 있습니다. 하지만 업데이트가 느리고 상대적으로 메이저한 운영환경을 소홀히 하는 문제가 있습니다.
장점 : 휴리스틱 채점의 1인자, 채점 항목도 디테일함. 그냥 테스트 결과 구리면 인증을 안줌.
단점 : 업데이트가 느리다. 메이저의 비중이 너무 적다.
검사 항목은 표로 발표가 되며 ( https://www.virusbulletin.com/testing/results/latest/vb100-antimalware ), 항목은 다음의 결과값을 의미합니다.
- Result : 인증 결과
Failed / Passed 딱 두개로만 구분하며, Passed를 획득했다는건 테스트 기준으로 감시해야하는 멀웨어를 다 검출하고, 오작동으로 멀쩡한 프로그램으로 인증된 항목을 때려잡지 않았다는 말입니다. 만약 멀웨어를 다 검출하지 못하거나 오작동으로 프로그램의 작동에 영향을 줬다면 Failed를 부여합니다.
여기서 중요한건 Result에서는 "탐지"만을 테스트하지, 보호를 테스트하는게 아니라는점입니다. 예를 들어서 A라는 백신이 랜섬웨어를 탐지해낸다 하더라도, 이 랜섬웨어를 전혀 막지 못한다 하더라도 인증은 나갈 수 있습니다.(...)
- RAP
시기에 따른 표를 보여주는 Overview와 평균값을 보여주는 Score가 있는데, RAP Test는 기본적인 샘플 외의 돌발적인 샘플을 투여 했을때 휴리스틱이나 엔진 업데이트의 속도(.....)로 얼마만큼 땜빵이 가능한가를 보여주는 수치입니다. 보통 휴리스틱이 발전했거나 업데이트 속도가 빠를때에 이 수치가 높게 나오며, 이 수치가 없는 경우는 유의한 값을 뽑을수 없는 경우(휴리스틱을 지원 안한다거나, 업데이트가 느리다거나, 하나도 못잡는다거나, 아니면 다 잡는 경우 등등...)입니다.
- Performance Impact
보통 Eicar Test를 기준으로 삼는데, Eicar는 별거 아니고 바이러스는 아닌데 바이러스로 인식하기로 하는 일종의 가짜 바이러스 파일입니다. 이걸 처리할때(...)걸리는 시스템의 상황을 퍼센트로 환산하는데, 어떤 앱을 실행하면서 완료하는데까지 걸리는 시간을 기준으로 채점합니다. 이 값은 낮을수록 좋은데, 가끔 마이너스가 나오는 기괴한 경우도 있습니다. -_-;
이 수치가 크면 클수록 사용자는 "아 ㅅㅂ 버벅이네"라고 상황인식을 할 가능성이 큽니다.
- Stability Rating
말 그대로 백신 프로그램의 안정성을 뜻합니다. 다섯단계로 나뉘어지는데...
* Soild : 굴리면서 에러 비슷한것도 안뜸
* Stable : 사소한 문제가 있지만 어쨌든 본래 기능에 영향이 없이 잘 굴러갔음
* Fair : 심각한 문제는 없었지만(...) 시스템에 영향을 줄만한 에러는 없었음.
* Buggy : 에러때문에 재부팅을 소환시키는 정도의 수준
* Flaky : 그야말로 에러때문에 시스템을 해먹는 수준(.......)
...앞으로 가아끄음 3대 백신 테스트 결과가 나오면 요걸 참조로 해서 아 이 백신은 이렇구나. 하시면 될 듯 합니다.
그리고 전 앞으로 올라오는 백신 테스트 결과 업뎃하기가 힘들거 같네요.(탕)
KTHDevKR
카토메구미
