사용성 테스트 수행하기

2-2.평가 분석서 작성 및 이슈 도출

테스트 자료를 수집하여 사용성 평가 분석서를 작성할 수 있다.

사용성 평가 분석서를 토대로 이슈 사항을 도출할 수 있다

1.태스크 성공 매트릭스

태스크가 포함되어 있는 사용성 테스트 연구에서 태스크 성공 매트릭스는 가장 일반적이고 보편적인 방법이다. 개선 이전의 UI/UX 디자인과 개선 이후의 UI/UX 디자인의 태스크성공 여부(이진성공율)의 빈도 분포로 표현하여 비교한다.

2.에러 매트릭스

태스크를 수행하는 동안 사용자가 범한 실수를 수집하여 분석하는 기법으로, 태스크 진행중 얼마나 많은 실수가 있었는지, 이러한 실수가 제품의 어느 부분에서 발생했는지, 디자인에 따라 어떤 종류의 에러가 얼마나 자주 일어나는지, 일반적으로 무엇이 어떻게 유용한지에 대해서 말해줄 수 있다.

예를 들어서, 에러로 인해 데이터가 손실되는 등 효율성에서 중대한 손실을 가져올 때, 에러로 인해 고객센터로 걸려오는 통화량이 증가되는 등 많은 비용을 발생시킬 때, 에러가태스크의 실패를 야기할 때 등이다

3.효율성 매트릭스

효율성 매트릭스는 태스크를 완료하기 위해서 걸리는 시간 뿐 아니라, 인지적 노력과 물리적 노력의 양을 중요하게 여길 때 효과적이다. 효율성은 흔히 태스크를 완료하는데 필요한 단계나 행동의 개수에 의해 측정되고, 또는 태스크마다 걸린 평균 시간과 태스크 성공률의 비율에 따라 측정되기도 한다.

4.시간 기반 태스크 매트릭스

시간 기반 태스크는 어떤 제품에서건 효율성을 측정할 수 있는 방법이며, 태스크 완료 시간 또는 단순히 태스크 시간이라고 하기도 한다. 대부분 사용자가 태스크를 빠르게 완료하는 것을 더 나은 경험으로 규정하고 있으며, 사용자의 기대보다 짧은 시간 내에 태스크를 완료하는 일은 많지 않다. 테스트 진행자가 스톱워치로 기록하거나, 자동화 툴(EgoBrowser, Data Logger, Bailey의 Usability Testing Environment 등)을 사용하는 방법, 사용자가 시계 끄고 켜기 방법 등으로 데이터를 수집한다.

5.데이터 이력기록기 (Data Logger)

온도 ·유량 ·압력 등 공정변수의 아날로그 입력을 디지털수로 변환하여 자동적으로 기록하는 장치를 말한다. 계측 끝에서부터의 아날로그 신호를 AD변환기를 통해서 디지털 신호로 변환하고, 이것으로 자동 타이프라이터를 작동시켜 일정한 시간주기로 계측값을 시트 위에 나타낸다. 또 관리 한계를 설정하는 핀꽂이 등을 갖추고, 계측값이 한계를 넘으면적자로 인쇄하거나 자동적으로 경보를 내는 것이 많다. 데이터 이력기록의 본체는 간단한계산도 할 수 있는 구조가 많으며, 고급 모델은 완전한 디지털 컴퓨터의 기능을 가진다.이 경우에는 전산 자동이력기록기로서 구별하는 경우도 있다. 공업 플랜트에서의 계측은관리실의 패널 위에 다수의 계기를 설치하여 집중적으로 감시하는 방법이 취해지나, 데이터 이력기록기는 이 다수의 계기를 1대의 자동 타이프라이터로 대치해 놓은 것으로서 감시를 더욱 수월하게 하고 있다.

6.옵저베이션 (Observation)

어떤 대상이나 어떤 과정이 어떻게 구성이 되어 있으며, 어떻게 해서 생기는가의 사실을있는 그대로 확인하는 것으로, 넓은 의미에서는 실험을 포함시킬 수 있지만, 일반적으로실험처럼 대상이나 과정에 인위적인 간섭을 가하지 않는 것을 의미한다.

7.테스트 신뢰성

테스트의 신뢰성이란, 테스트의 결과 또는 테스트를 통해 측정된 측정치, 측정기준을 신뢰할 수 있을 정도로 정확성과 안정성, 그리고 일관성을 가지고 있는가를 의미하는 것이다.테스트의 설계 및 절차에 기본적으로 오류가 있다면, 테스트를 아무리 잘 수행하였다 하더라도, 해당 테스트의 결과는 신뢰성에 의심을 받게 되며, 테스트 신뢰성에 문제가 있는테스트 결과는 아무런 의미도 없고 활용할 수도 없게 된다.

또한 테스트를 진행하는 사람이 중림적인 시각을 가지지 않고 있거나, 제품에 대해서 상세히 잘 알고 있는 경우에도 사용성 테스트의 신뢰성에는 문제가 발생할 수 있다. 사용성테스트 신뢰성에 문제가 있는 테스트 결과를 기반으로 제품에 반영이 되고 최종 출시가되면 기업에는 막대한 피해를 가져올 수 있으므로, 테스트 신뢰성 확보에는 많은 노력을기울여야 한다

8.NEM 기법 (Novice Export retio Method)

대상 제품을 처음으로 사용해 보는 초심자(Novice)와 대상 제품의 설계 및 개발에 참여한숙련자(Export)를 사용성 테스트에 참여시켜서 대상 제품의 태스크 수행시간을 비교하여문제점을 객관적으로 제시하는 사용성 테스트 기법이다.