Skip to content

Testes de Aceitação do Produto e validação da proposta de valor

Histórico de Revisão

Autor Mudanças Data Versão
Matheus Blanco Criação do documento 23/05/21 0.1

Introdução

Este documento foi criado com o objetivo de documentar o processo de realização de testes de aceitação do produto criado pela equipe durante o semestre. A partir da utilização da metodologia GQM (Goals, Metrics, Questions), dos conceitos de usabilidade apresentados e discutidos nos materiais providos pelo professor da disciplina, e da visão do produto que o projeto procurava alcançar em seu estado final de maturidade, a equipe definiu diretrizes e tarefas que deveriam ser aplicadas com usuários reais, dentro de um grupo focal, para que os mesmos pudessem passar percepções variadas e consolidadas de usabilidade e de valor de negócio em cima da utilização do Eccoar. Assim, pretende-se apresentar neste documento, todos os aspectos relevantes aos testes de aceitação realizados com dito público.

Escolha do grupo focal

O grupo focal com o qual os testes foram realizados escolhido foi o de familiares imediatos, como pai, mãe, tios. Essas pessoas foram escolhidas com base em dois fatores principais, um deles relativo à natureza do público-alvo do Eccoar e sua natureza de utilização, e o outro com base no contexto de vida em que nos encontramos hoje em dia. Portanto, o grupo focal foi escolhido com base nos seguintes fatores:

  • Familiares imediatos são pessoas que estão em contato direto com os membros da equipe, de maneira que os mesmos não precisariam se arriscar a sair da segurança de seus lares para realizarem testes pessoais com outras pessoas. Testes virtuais poderiam ser realizados, mas acredita-se que a eficácia do mesmo não seria a mesma de um teste presencial;
  • Pelo fato do Eccoar ter sido pensado para ser utilizado por moradores de comunidades que pretendem contribuir com a segurança e melhoramento de suas vizinhanças a partir da postagem de denúncias e afins, entende-se que o público alvo do mesmo é extremamente abrangente, e que pais, mães, tios, avós e afins poderiam ser um público de interesse para o teste, pelo fato de possuirem o interesse, como progenitores e/ou guardiões legais de menores de idade, de resguardarem a saúde e a segurança dos mesmos, estando mais inclinados a agirem em prol dessa segurança, com o Eccoar como uma alternativa.

Goals, Metrics e Questions

O teste possuiria dois objetivos principais, o primeiro baseado na coleta de percepções dos usuários em relação à interface de usuário, principalmente interatividade, quantidade de informações, estética e consistência da identidade visual em todo o projeto. Os usuários passariam pelas tarefas e avaliariam o elemento do software relativo a tal tarefa de acordo com sua eficácia, facilidade de realização da atividade e satisfação geral com a interface do programa [1]. A partir disso, poderíamos coletar feedbacks de interatividade e usabilidade gerais que anteriormente não teríamos visto durante a realização do projeto. Os resultados coletados se mostraram essenciais para o melhor entendimento das falhas e serão apresentados posteriormente.

O segundo objetivo seria mais personalizado e baseado na visão do produto do Eccoar, a qual afirmava:

Para comunidades e seus moradores cujo problema se encontra na demora e burocracia na de resolução de problemas o Eccoar é um PWA de denúncias para problemas de natureza pública que visa aumentar a visibilidade para os problemas e facilitar a comunicação entre o governo, orgãos responsáveis e o povo, e diferentemente do Colab o nosso produto coleta informações sobre o problema e os envia diretamente para o estado, facilitando o relato de problemas, assim, removendo a necessidade da comunidade se comunicar com orgãos públicos

Assim, esse objetivo tinha como visão avaliar, a partir da interação com o usuário, se o produto criado era capaz de se mostrar um concorrente ao Colab capaz de ser utilizado pela população do DF. Para isso, não apenas as funcionalidades gerais do Eccoar seriam avaliadas, mas também seriam comparadas com o Colab, de maneira que o usuário pudesse entender quais são os pontos fortes e falhos das duas aplicações, e como o Eccoar fornece uma abordagem diferente à comunicação com o governo realizada pelo Colab. Em especial, esta última etapa foi de suma importância, pois o Eccoar não se limitava à aplicação no celular do usuário, sendo que o resultado principal de sua utilização se encontra no relatório gerado e como o mesmo poderia ser de valor para os órgãos públicos que os receberiam, quando o Colab em contrapartida permitiria ao governo possuir uma conta governamental em sua aplicação para que pudessem olhar as ocorrências postadas.

O formato final do GQM foi o apresentado a seguir:

Goal 1: Criar um sistema de fácil utilização e que o usuário consiga interagir com o mínimo de esforço possível.

Question 1 - O sistema é fácil de ser utilizado pelo seu público-alvo?

Métrica:

  • Média das notas de facilidade de realização das tarefas do Eccoar (em porcentagem)

Question 2 - O sistema possui uma interface amigável e explicativa?

Métricas:

  • Média da notas de informações explicativas dentro do software (em porcentagem)
  • Média da nota dada à estética dos elementos do software, em relação a facilidade de se identificar e destacar um elemento do outro (em porcentagem)

Goal 2: Aproximar a população de comunidades do DF com órgãos públicos, estatais ou privados para que os problemas de ditas comunidades possam ser resolvidos

Question 1 - O sistema é capaz de fazer a comunicação entre os moradores de comunidades e órgãos públicos de maneira eficaz?

Métrica:

  • Média das notas dadas pelos usuários em relação a utilização do sistema Eccoar

Question 2 - O sistema é capaz de competir com o concorrente COLAB?

Métrica:

  • Diferença entre as notas gerais dadas pelos usuários para utilização das aplicações do sistema do Eccoar e do COLAB

Preparação, cenário e roteiro

Para a realização dos testes, algumas preparações tiveram de ser realizadas pela equipe. A primeira delas foi a de baixar o Colab e identificar as características do mesmo que o tornavam parecido com o Eccoar. Pelo fato do teste ser realizado inteiramente em comparação de um sistema com o outro, as atividades deveriam ser em sua maior parte parecidas, ou surtirem o mesmo efeito. A quantidade final de atividades selecionadas acabou se mostrando pequena, pois o Eccoar possuia alguns aspectos que o Colab não possuia, e vice-e-versa. Algumas tarefas extras foram escolhidas, de maneira a exaltar pontos positivos do Eccoar, em relação a usabilidade, e uma tarefa foi pensada de maneira a mostrar ao usuário como estava sendo realizada a interação do governo com as ocorrências postadas no Colab, como o Eccoar pretendia abordar essa interação e qual seria a opinião do usuário em relação a esta nova abordagem.

Além disso, um roteiro e uma tabela foram criados para que a equipe pudesse entender quais são as etapas e anotar os resultados.

Resultados

Após a realização dos testes e a análises dos valores coletados, puderam-se perceber alguns pontos de importância. O primeiro deles é que o Colab não estava funcionando durante os primeiros testes, o que se mostrou positivo, até certo ponto, para o Eccoar, pois mostrava para o usuário que o nosso produto poderia se tornar uma concorrência viável ao existente. Entretanto, isso também se mostrou negativo pelo fato de o Colab não estar funcionando corretamente, os usuários não poderem avaliar corretamente o funcionamento dos dois. Felizmente, o Colab voltou a funcionar e os testes puderam ser realizados com maior acurácia.

Outro ponto de visibilidade é que o Eccoar se mostrou extremamente imaturo, em relação ao Colab, quanto a elementos de usabilidade e comunicação com o usuário, sendo esses os maiores feedbacks de melhorias dados pelos participantes dos testes. Informações importantes que poderiam ter sido passadas ao usuário não estava presentes, ou não apareceram por alguma falha. Em um caso, foi mostrado ao usuário a tela com informações de produto do Eccoar e explicado que a mesma não pode ser adicionada por cortes no escopo, mas o impacto que a falta da mesma teve se mostrou visível na interação do usuário com o sistema.

Um ponto positivo para o Eccoar foi percebido em sua proposta de valor. Apesar dos problemas existentes em interatividade, os usuários enxergaram que com mudanças e aprimoramentos nos elementos visuais e interativos do Eccoar, o mesmo poderia se tornar um aplicativo de bastante potencial de uso. Sendo assim, acredita-se que a visão do produto poderia ser alcançada com o Eccoar, caso o mesmo fosse utilizado em escala regional em todo o DF.

Apresenta-se abaixo as tabelas com os valores coletados durante os testes de usabilidade, juntamente dos principais feedbacks dados pelos usuários durante os testes e anotados pelos entrevistadores.

Um dos testes infelizmente não pode ser concluído, pois o computador do membro passou por problemas durante a realização do mesmo, de maneira que apenas metade os resultados foram coletados.

Abaixo, apresenta-se a tabela com os resultados coletados:

O GQM Foi completo?

Goal 1:

  • Question 1:

-> Métrica 1 - 86,67%. Sim, mas apesar da nota geral ser boa, notou-se que os elementos de usabilidade possuíam pontos de melhoria, principalmente relativo a informações dadas aos usuários nas telas.

  • Question 2:

-> Métrica 1 - 73,33%. Não, as informações dentro do software se mostraram insuficientes para que o mesmo fosse utizado sem explicações adicionais, principalmente na tela principal.

-> Métrica 2 - 76,67%. Sim, mas com ressalvas. Os elementos estéticos foram considerados agradáveis, mas os feedbacks sobre a quantidade de informações foi mais proeminente e acabou afetando a nota desta métrica

Goal 2:

  • Question 1:

-> Métrica 1 - 68,71%. Sim, apesar das notas pouco positivas em relação a estética do produto, essa nota teve bastante impacto dos relatórios enviados e da abordagem diferente de se realizar a comunicação com os órgãos públicos, o que mostrou aos usuários o potencial futuro do Eccoar.

  • Question 2:

-> Métrica 2 - A nota final dada ao Eccoar foi de 24% a mais do que a dada ao Colab. Isso mostrou a recepção positiva ao produto da equipe, acredita-se que o Goal foi atingido e que a visão do produto poderia ser completada em um cenário de utilização real no DF.

Referências Bibliográficas

[1] - FENTON, Norman; BIEMAN, James. Software Metrics: A Rigorous and Practical Approach. In: SOFTWARE Metrics. [S. l.: s. n.], [20--]. cap. 10, p. 441-474. Disponível em: https://drive.google.com/file/d/1ItpsmWwHqbSn7KSf223i7pQkIRxhW_tJ/view. Acesso em: 30 abr. 2021.

TOSHIAKI SATO, Danilo. Uso eficaz de m´etricas em m´etodos ´ageis de desenvolvimento de software. Agosto de 2007. Dissertação (Mestrado em Ciência da Computação) - Instituto de Matemática e Estatística, Universidade de São Paulo, [S. l.], Agosto de 2007.