Pular para o conteúdo principal

Critérios do Prumo

O Prumo mede a maturidade do projeto em eixos tirados dos princípios do DS gov.br, do eMAG e da LGPD. Cada critério tem um nível (de 1 a 5 estrelas) a partir do qual vale, e é preenchido pelo que o projeto produz no CoboGov e pelas declarações da equipe.

O Prumo é um indicador para a equipe acompanhar a evolução do projeto. Ele não é uma certificação nem uma avaliação oficial.

Critérios que passam a pedir evidência. Alguns critérios antes valiam só pela declaração da equipe e agora podem ser comprovados por um artefato preenchido. Para dar tempo à equipe, há um período de transição. O prazo é de cada projeto: quem define é o líder, na tela do Prumo do plugin, e o CoboGov não traz uma data pronta. Enquanto não há prazo, e até a data escolhida, a declaração "atende" ainda conta, com um aviso. Depois do prazo, o critério só conta com o artefato preenchido. "Não atende" e "não se aplica" continuam valendo pela declaração.

Foco no cidadão​

Base: DS gov.br — Princípios, boas práticas: priorizar atenção ao usuário; Fluxo de criação, passo 2
CritérioA perguntaA partir de
Problema e público definidosO projeto descreve o problema do cidadão e quem é atendido?★
Suposições e atores explícitosA equipe separou o que sabe do que supõe e mapeou os atores do serviço?★★
Perfis do cidadãoHá perfis do cidadão baseados em evidência?★★
Escuta com cidadãosA equipe conversou com cidadãos e registrou os aprendizados?★★★
Jornada mapeadaA jornada do cidadão foi mapeada do início ao fim do serviço?★★★
Teste com cidadãosO protótipo foi testado com cidadãos?★★★★
Ciclo fechadoO que se aprendeu no teste e depois da publicação virou mudança no serviço?★★★★★

Experiência única​

Base: DS gov.br — Princípios: Experiência Única e Reutilização; Padrão Mínimo; Portaria SGD/ME 7.508/2022
CritérioA perguntaA partir de
Padrão MínimoAs telas atendem ao Padrão Mínimo (cabeçalho, logo, rodapé, Rawline, cores, botões, sign-in)?★
Componentes do DSAs telas são montadas com componentes do DS gov.br?★★
Fundamentos visuaisCores, tipografia, raios e espaçamentos seguem os fundamentos do DS?★★★
ResponsividadeAs telas existem nos breakpoints gov.br necessários (4, 8 e 12 colunas)?★★★
Desvios justificadosTodo uso fora do DS tem justificativa registrada?★★★★
Contribuição com o DSA equipe compartilhou com a comunidade do DS um padrão ou componente criado no projeto?★★★★★

Eficiência e clareza​

Base: DS gov.br — Princípio Eficiência e Clareza; padrão Writing (linguagem simples e microcopy)
CritérioA perguntaA partir de
Valor público declaradoEstá claro o que muda para o cidadão e como medir?★
Linguagem simplesOs textos das telas foram revisados com as orientações de writing do DS?★★
Estados de telaExistem telas para vazio, carregando, erro e sucesso?★★★
Arquitetura da informação definidaO conteúdo do serviço foi inventariado e organizado numa hierarquia com nomes que o cidadão entende?★★★
Decisões de solução fundamentadasAs soluções escolhidas vêm de oportunidades e foram priorizadas?★★★
Fluxo ligado à jornadaAs telas estão ligadas à jornada ou aos perfis que atendem?★★★
Protótipo navegávelAs telas estão conectadas num protótipo navegável?★★★★
Estrutura validada com cidadãosA organização e os nomes das seções vieram de cidadãos ou foram testados com eles (classificação de cartões, teste de árvore)?★★★★
Compreensão testada (pede evidência depois do prazo definido pelo líder do projeto)A compreensão dos textos foi verificada com cidadãos?★★★★★

Acessibilidade​

Base: DS gov.br — Princípio Acessibilidade; eMAG; WCAG 2.1
CritérioA perguntaA partir de
Nível pretendidoO projeto declarou o nível de conformidade pretendido (A, AA ou AAA)?★
Necessidades de acesso conhecidasOs perfis registram as necessidades de acesso do público?★★
Checklist eMAGAs telas passaram pelo checklist eMAG sem pendências?★★★
Contraste conferido nas telasO contraste de texto e fundo das telas atende ao mínimo do eMAG (recomendação 4.1 / WCAG 1.4.3)?★★★
Acessibilidade documentada para o devOrdem de foco, nomes acessíveis, títulos e textos alternativos foram documentados para o desenvolvimento?★★★★
Testado com leitor de telaA especificação de leitor de tela foi conferida com um leitor de tela de verdade (NVDA, JAWS, VoiceOver ou TalkBack)?★★★★★
Teste com pessoas com deficiência (pede evidência depois do prazo definido pelo líder do projeto)Pessoas com deficiência participaram dos testes?★★★★★

Privacidade​

Base: LGPD — Lei 13.709/2018; DS gov.br — componente Cookiebar
CritérioA perguntaA partir de
Dados pessoais mapeadosO projeto sabe quais dados pessoais trata e para quê?★
Consentimento na pesquisaAs escutas e testes preveem consentimento dos participantes?★★
Checklist de privacidadeAs telas passaram pelo checklist de privacidade sem pendências?★★★
Controle do cidadãoO cidadão consegue revogar consentimento e corrigir seus dados?★★★★
Aviso de privacidade compreendido (pede evidência depois do prazo definido pelo líder do projeto)O aviso de privacidade foi testado com cidadãos?★★★★★

Entrega e evolução​

Base: DS gov.br — Princípio Colaboração; Fluxo de criação, passo 4 (Release Notes); Fluxo de desenvolvimento
CritérioA perguntaA partir de
Telas registradasAs telas do serviço estão identificadas no arquivo?★
Camadas com nomeAs camadas têm nomes que o desenvolvimento entende?★★
Pacote de entregaA entrega para desenvolvimento está documentada?★★★
Notas de versãoCada publicação tem notas de versão?★★★★
Indicadores acompanhadosO serviço publicado é acompanhado com indicadores e linha de base?★★★★★

Lentes por tipo de produto​

Os eixos valem para todo projeto. Quando você define o Tipo de produto nos Dados do projeto (sistema, portal, site ou painel), o Prumo soma critérios de lentes aos mesmos eixos. As lentes gerais valem para qualquer tipo definido; as demais, só para o tipo delas. Lente não pune: critério de outra lente não conta para o projeto. Sem tipo definido, só valem os critérios dos eixos acima. A régua continua sendo o DS gov.br; as referências abaixo apoiam onde o DS não cobre. Normas pagas (ISO) são citadas só pelo conceito, sem reproduzir o texto. Resultado de teste real (SUS, taxa de sucesso) entra como declaração da equipe com o número informado, nunca estimado.

Lente: Usabilidade e qualidade​

Vale para todo tipo de produto: usar com eficácia, eficiência e satisfação, e a qualidade do produto como um todo. Vale para todos os tipos de produto.

CritérioEixoA perguntaA partir deDe onde vem
Telas revisadas pelas heurísticas (pede evidência depois do prazo definido pelo líder do projeto)Eficiência e clarezaAs telas principais foram revisadas pelas 10 heurísticas de usabilidade, com os problemas registrados?★★★Jakob Nielsen, 10 heurísticas de usabilidade (revisão heurística das telas)
Metas de usabilidade definidasFoco no cidadãoA equipe definiu o que é usar bem (eficácia, eficiência e satisfação) para este produto?★★ISO 9241-11: eficácia, eficiência e satisfação (norma paga; o Prumo usa só o conceito)
Satisfação medida com a escala SUS (com resultado de teste)Foco no cidadãoA satisfação foi medida com a escala SUS num teste com pessoas reais? Informe a pontuação (0 a 100).★★★★★John Brooke, SUS: a quick and dirty usability scale (1996): escala de 10 perguntas, de uso livre
ISO 9241-11: satisfação (norma paga; o Prumo usa só o conceito)
Qualidade priorizada com metaEntrega e evoluçãoAs características de qualidade que mais importam (por exemplo desempenho, confiabilidade, segurança) foram escolhidas e têm meta?★★★★ISO/IEC 25010: modelo de qualidade de produto de software (norma paga; o Prumo usa só o conceito)

Lente: Serviço público​

Vale para todo tipo de produto: o serviço de ponta a ponta, não só a tela, e a prestação de contas do que foi entregue. As leis aparecem como referência de boa prática, não como conferência de obrigação legal. Vale para todos os tipos de produto.

CritérioEixoA perguntaA partir deDe onde vem
Serviço visto de ponta a pontaFoco no cidadãoO desenho cobre o serviço inteiro, inclusive o que acontece antes, depois e nos bastidores?★★★GOV.UK Service Standard, ponto 2: resolver o problema inteiro
US Digital Services Playbook, jogada 2: cuidar da experiência inteira, do começo ao fim
Canais conectadosExperiência únicaQuem começa no digital consegue continuar no presencial ou por telefone, sem repetir tudo?★★★GOV.UK Service Standard, ponto 3: conectar os canais
Tarefa principal sem ajudaEficiência e clarezaA tarefa principal pode ser concluída sem ajuda e sem manual?★★★GOV.UK Service Standard, ponto 4: tornar o serviço simples de usar
US Digital Services Playbook, jogada 3: torná-lo simples e intuitivo
Exigências revisadas e simplificadasEficiência e clarezaAs etapas e exigências do serviço foram revisadas para tirar o que não é necessário?★★★Lei 13.460/2017 (Código de Defesa do Usuário do Serviço Público), art. 5º, IV, XI, XIII e XV (sem exigências fora da lei, sem formalidade de custo maior que o risco, tecnologia para simplificar, sem nova prova de fato já comprovado); vale para a União, os estados, o DF e os municípios (art. 1º, § 1º)
Lei 14.129/2021 (Governo Digital), art. 3º, X a XIII (simplificar procedimentos, eliminar exigências desproporcionais, exigir tudo de uma vez, não pedir prova de fato já comprovado); referência: obrigatória para a União e para estados e municípios que a adotaram por norma própria (art. 2º, III)
Quem tem pouco acesso digital também é atendidoAcessibilidadeFoi prevista a forma de atender quem não consegue usar o canal digital (ajuda, outro canal, outro meio)?★★★★GOV.UK Service Standard, ponto 5: garantir que todos consigam usar
Lei 14.129/2021 (Governo Digital), art. 3º, II (atendimento presencial quando indispensável), XVI (permanência do atendimento presencial) e XX (inclusão digital); referência: obrigatória para a União e para estados e municípios que a adotaram por norma própria (art. 2º, III)
Sucesso definido com medidasEntrega e evoluçãoEstá definido, com medidas, o que é sucesso do serviço para o cidadão e para o órgão?★★★GOV.UK Service Standard, ponto 10: definir o que é sucesso e publicar os dados de desempenho
US Digital Services Playbook, jogada 12: usar dados para decidir
Melhoria contínuaEntrega e evoluçãoO serviço é melhorado em ciclos, com as mudanças publicadas?★★★★★GOV.UK Service Standard, ponto 8: iterar e melhorar com frequência
US Digital Services Playbook, jogada 4: construir de forma ágil e iterativa

Lente: Sistema​

Para sistemas e serviços digitais: tarefa concluída, erro e eficiência. Vale para: sistemas.

CritérioEixoA perguntaA partir deDe onde vem
Sistema informa o que está acontecendoEficiência e clarezaCada ação mostra resposta em tempo razoável (carregando, salvo, enviado)?★★Jakob Nielsen, 10 heurísticas de usabilidade: 1. visibilidade do status do sistema
Erro prevenido e recuperávelEficiência e clarezaO projeto previne erros e, quando acontecem, diz o que houve e como seguir?★★★Jakob Nielsen, 10 heurísticas de usabilidade: 5. prevenção de erros
Jakob Nielsen, 10 heurísticas de usabilidade: 9. ajudar a reconhecer, diagnosticar e corrigir erros
Taxa de sucesso na tarefa medida (com resultado de teste)Eficiência e clarezaPessoas reais concluíram as tarefas principais num teste? Informe a taxa de sucesso.★★★★Rodden, Hutchinson e Fu (Google), framework HEART, CHI 2010: sucesso na tarefa
ISO 9241-11: eficácia (norma paga; o Prumo usa só o conceito)
Tempo ou passos da tarefa medidos (com resultado de teste)Eficiência e clarezaO tempo ou o número de passos da tarefa mais frequente foi medido num teste? Informe o resultado.★★★★Rodden, Hutchinson e Fu (Google), framework HEART, CHI 2010: sucesso na tarefa
ISO 9241-11: eficiência (norma paga; o Prumo usa só o conceito)
Adoção e retorno acompanhados (com resultado de teste)Entrega e evoluçãoEstá sendo acompanhado quantas pessoas passam a usar e quantas voltam? Informe o resultado.★★★★★Rodden, Hutchinson e Fu (Google), framework HEART, CHI 2010: adoção e retenção

Lente: Portal e site​

Para portais e sites: encontrar a informação, conteúdo e linguagem. Vale para: portais e sites.

CritérioEixoA perguntaA partir deDe onde vem
Conteúdo escrito pela necessidade do usuárioEficiência e clarezaO conteúdo parte do que a pessoa precisa saber, e não da estrutura do órgão?★★GOV.UK, Content design: planning, writing and managing content
Organização, rótulos, navegação e busca definidosEficiência e clarezaEstão definidos como o conteúdo é organizado, nomeado, navegado e buscado?★★★Rosenfeld, Morville e Arango, Information Architecture: For the Web and Beyond (4ª ed.)
Responsável e prazo de atualização do conteúdoEntrega e evoluçãoCada conteúdo tem responsável, revisão e prazo de atualização?★★★★GOV.UK, Content design: planning, writing and managing content
Taxa de sucesso ao encontrar a informação (com resultado de teste)Eficiência e clarezaPessoas reais encontraram a informação pedida num teste? Informe a taxa de sucesso.★★★★★Rosenfeld, Morville e Arango, Information Architecture: For the Web and Beyond (4ª ed.)
ISO 9241-11: eficácia (norma paga; o Prumo usa só o conceito)

Lente: Painel​

Para painéis de dados: ler o dado certo, sem enganar. Vale para: painéis.

CritérioEixoA perguntaA partir deDe onde vem
Perguntas do painel definidasFoco no cidadãoEstá escrito que perguntas o painel responde e para quem?★★Stephen Few, Information Dashboard Design: painel mostra, numa tela, o que mais importa para um objetivo
O essencial cabe numa telaEficiência e clarezaO essencial pode ser lido de relance, sem rolar nem trocar de tela?★★★Stephen Few, Information Dashboard Design: monitorar de relance, numa tela só
Sem enfeite que não informaEficiência e clarezaCada elemento do gráfico informa algo? O que é só decoração foi tirado?★★★Edward Tufte, The Visual Display of Quantitative Information: proporção dado-tinta
Dado ausente, carregando e erro tratadosEficiência e clarezaO painel mostra o que fazer quando o dado não chega, está carregando ou deu erro, em vez de gráfico vazio?★★★DS gov.br V4, padrão Dados ausentes (V3: Empty States)
DS gov.br V4, padrão Skeleton screen (V3: Loading)
Gráfico combina com a perguntaEficiência e clarezaO tipo de gráfico combina com a pergunta (comparar, ver tendência, ver parte do todo)?★★★★Stephen Few, Information Dashboard Design: escolha do tipo de gráfico
Número com comparaçãoEficiência e clarezaOs números aparecem com algo para comparar (meta, período anterior)?★★★★Stephen Few, Information Dashboard Design: contexto e comparação dos indicadores
Cor não é a única forma de informarAcessibilidadeSéries e estados do gráfico se distinguem também por forma, texto ou padrão?★★★WCAG 2.1, critério 1.4.1 (uso de cor)
Gráfico com alternativa em texto e tabelaAcessibilidadeCada gráfico tem descrição em texto e os dados em tabela?★★★★WCAG 2.1, critério 1.1.1 (conteúdo não textual)
W3C WAI, tutorial de imagens complexas (gráficos)
Contraste dos elementos do gráficoAcessibilidadeLinhas, barras e marcadores têm contraste de pelo menos 3:1 com o fundo?★★★★WCAG 2.1, critério 1.4.11 (contraste de não texto)

Comentários e evolução

Viu algo a corrigir ou completar nesta especificação? Comente abaixo dizendo qual parte, o que mudar e a fonte (WCAG, eMAG, WAI-ARIA APG, documentação do DS gov.br ou teste com leitor de tela). É preciso uma conta no GitHub. As sugestões aceitas entram na base e aparecem nas Novidades.