Introdução

Será aplicado um teste de usabilidade baseado no feedback de usuário da universidade de Brasília e estudantes de programação por meio da aplicação do teste de usabilidade presencial realizado pela equipe de desenvolvimento do chatbot para alunos iniciantes de programação da Universidade de Brasília - UnB.

Teste de Usabilidade presencial

• Métricas utilizadas no teste de usabilidade:
  • Número de etapas para executar um pedido específico
  • Porcentagem de visitantes que retornam
  • Tempo médio gasto pelo usuário em uma sessão
• Objetivos da aplicação do teste de usabilidade:
  • Identificar se o caminho que o usuário precisa percorrer está claro
  • Identificar se os textos estão objetivos objetivos demais
  • Identificar se o bot consegue reconhecer ao máximo a intenção do usuário
  • Identicar falhas na identificação da intenção do usuário
  • Identificar falhas no caminho de respostas (stories)
  • Identificar se o uso do cronograma é valido e se está disposto de forma intuitiva para uso
  • Identificar se o usuário consegue submeter um exercício no bot e receber feedback
  • Identificar se a disposição de um código em puthon para um determinado conteúdo ajuda no esclarecimento da aplicação
  • Identificar se está claro o objetivo e aplicação do stackoverflow para uso no bot
  • Identificar bugs durante interação

Atividades a serem executadas para realização do teste de usabilidade

• Público: O teste de usabilidade será aplicado para voluntários iniciantes na programação. (Alunos da disciplina de Algorítmos de Programação)

• Local: Laboratório da Universidade de Brasília - UnB.

• Horário: 13h

• Logistica de aplicação: Cada membro da equipe acompanhará a interação do participante com o bot a fim de anotar as observações resultantes.

• Programação das Atividades:

  Atividade 0

  • Executar uma atividade em cima de um determinado conteúdo para colher informaçõẽs quanto a objetividade dos conteúdos do bot
    • Deixar que o usuário converse de forma livre com o bot para colher a validação do usuário quanto a objetividade das informações oferecidas pelo bot.
    • Colher dados como:
      • Se as respostas estão objetivas
      • Se o usuário consegue ser respondido de acordo com a forma com que pergunta
      • Se o usuário se sentiu perdido ou não soube o que ou como perguntar
      • Se possui alguma sugestão de melhoria

  Atividade 1

  • Executar tarefa a fim de percorrer todas as etapas de ensino da Aix assim como ter acesso a um código de exemplo
    • Sugerir que o usuário comece tirando uma dúvida sobre um conteúdo específico a fim de fazer com que ele percorra todas as etapas de ensino como: Definição do Conteúdo Linkagem de conteúdo extra Exemplo de aplicação em Python
    • Colher dados como:
      • Se o usuário achou o fluxo intuitivo
      • Se o usuário conseguiu compreender melhor tendo o código como exemplo
      • Se o formato como o código foi fornecido auxilia ou dificulta
      • Se o usuário possui alguma sugestão de melhoria

  Atividade 2

  • Executar tarefa a fim realizar um pesquisa no stackoverflow para fazer com que o bot execute uma pesquisa sobre determinado conteúdo relacionado a programação
    • Analisar se o usuário consegue chegar até a utter de pesquisa no stackoverflow, se ele tem problemas para conseguir chegar nesta utter e se ele teve de executar muitos passos caso a intenção tenha sido apenas tirar uma dúvida específica.
    • Analisar as formas como o usuário interage com o bot com relação ao desejo de realizar uma pesquisa
    • Analisar insatisfações do usuário quanto a realização da tarefa
    • Analisar quantos caminhos foram necessários até chegar no esclarecimento

  Atividade 3

  • Executar atividade baseando se no cronograma fornecido pelo bot
    • Induzir usuário a iniciar uma conversa com o bot a fim de ter acesso ao cronograma sugerido pela Aix.
      • Analisar se o usuário achou intuitivo o uso do cronograma
      • Analisar se o cronograma de fato auxilia na tomada de decisão quanto a ordem de aprendizado de conteúdos no bot
      • Analisar se o usuário de fato segue o cronograma
      • Recolher sugestões de melhorias do usuário

  Atividade 4

  • Executar uma tarefa referente a tirar submeter um exercício no Juiz Online. Pedir que o usuário inicie a conversa em cima de um determinado conteúdo disposto no bot
    • Analisar se o usuário consegue chegar até a intent de sugestão de exercício
    • Analisar se o usuário consegue submeter o exercício da forma correta
    • Analisar se o usuário recebe o feedback de forma coerente
    • Analisar se o usuário possui alguma duvida durante o processo de submissão
    • Analisar se o usuário entende de fato no que está submetendo o exercicio e o que será retornado
    • Colher sugestões de melhorias
    • Colher dificuldades encontradas