Introdução

Será aplicado um teste de usabilidade baseado no feedback de usuário da universidade de Brasília e estudantes de programação por meio da aplicação de um questionário online e um teste de usabilidade presencial aplicado pela equipe de desenvolvimento do chatbot para alunos iniciantes de programação da Universidade de Brasília - UnB.

Formulário online para levantamento de dados

• Ferramenta utilizada: Google Forms

• Quantidade de questões abordadas: 16 Questões

• Tipos de Questões: Multiplas escolhas e Dissertativa

Para acessar o link do formulário basta clicar Aqui

Teste de Usabilidade presencial

• Métricas utilizadas no teste de usabilidade:
  • Número de etapas para executar um pedido específico
  • Porcentagem de visitantes que retornam
  • Tempo médio gasto pelo usuário em uma sessão
• Objetivos da aplicação do teste de usabilidade:
  • Identificar se o usuário compreende a proposta do bot
  • Identificar se o caminho que o usuário precisa percorrer está claro
  • Identificar se os textos estão objetivos
  • Identificar se as informações são suficientes
  • Identificar melhorias a serem implementadas
  • Identificar bugs durante interação

Atividades a serem executadas para realização do teste de usabilidade

• Público: O teste de usabilidade será aplicado para voluntários iniciantes na programação. (Alunos da disciplina de Algorítmos de Programação)

• Local: Laboratório da Universidade de Brasília - UnB.

• Horário: 13h

• Logistica de aplicação: Cada membro da equipe acompanhará a interação do participante com o bot a fim de anotar as observações resultantes.

• Programação das Atividades:

  Atividade 0

  • Interação inicial com bot
  • Analisar quais e como são as primeiras interações do usuário com o bot (tipo de perguntas que o usuário realiza)
  • Analisar se o usuário lê as informações e orientações que o bot oferece
  • Analisar a escrita dos usuários diante das interações com o bot

  Atividade 1

  • Entender O que é o bot Usuário conseguir entender no que o bot é capaz de ajudar e qual seu objetivos Usuário deve compreender o objetivo por meio da utter
  • Cumprimentar
  • me_ajuda
  • Analisar insatisfações do usuário quanto a realização da tarefa

  Atividade 2

  • Entender quais as habilidades que o bot possui Usuário deve compreender as tarefas que o bot consegue executar por meio da chegada até a utter: me_ajuda
  • Analisar quantos caminhos foram necessários até chegar no esclarecimento
  • Analisar insatisfações do usuário quanto a realização da tarefa

  Atividade 3

  • Executar uma tarefa referente a tirar uma dúvida sobre o que vem a ser a linguagem Python
  • Usuário deve conseguir chegar até a utter: o_que_e_python
  • Analisar quantos caminhos foram necessários até chegar no esclarecimento
  • Analisar insatisfações do usuário quanto a realização da tarefa

  Atividade 4

  • Executar tarefa referente a tirar uma dúvida específica sobre determinado conteúdo de python a fim de percorrer todas as habilidades do bot Linkagem de conteúdo extra Linkagem para sugestão de exercícios Solicitação de exemplos de utilização
  • Ao final deve ser observado se ficou claro o caminho que o usuário deve tomar e se foi útil as tarefas que o bot executa em forma de guia de aprendizado. Ou seja analisar se o usuário percorreu todos os caminhos e analisar se em algum momento ele se sentiu confuso ou pulou um dos passos do fluxo de aprendizado
  • Analisar insatisfações do usuário quanto a realização da tarefa
  • Analisar quantos caminhos foram necessários até chegar no esclarecimento

  Atividade 5

  • Executar tarefa a fim de conseguir fazer com que o bot execute uma pesquisa sobre determinado conteúdo relacionado a programação
  • Analisar se o usuário consegue chegar até a utter de pesquisa no stackoverflow, se ele tem problemas para conseguir chegar nesta utter e se ele teve de executar muitos passos caso a intenção tenha sido apenas tirar uma dúvida específica.
  • Analisar as formas como o usuário interage com o bot com relação ao desejo de realizar uma pesquisa
  • Analisar insatisfações do usuário quanto a realização da tarefa
  • Analisar quantos caminhos foram necessários até chegar no esclarecimento

  Atividade 6

  • Executar tarefa a fim de conseguir criar um hello world apenas com as coordenadas do bot
  • Analisar se o usuário consegue chegar até a utter de como fazer um hello world
  • Analisar se ele tem problemas para conseguir chegar nesta utter e se ele teve de executar muitos passos caso a intenção tenha sido apenas criar um hello world.
  • Analisar as formas como o usuário interage com o bot com relação ao desejo de criar um hello world
  • Analisar insatisfações do usuário quanto a realização da tarefa
  • Analisar quantos caminhos foram necessários até chegar no esclarecimento