Re: Testes de usuários sendo negligenciados...

[Ewout ter Haar]

+1 para um processo mais bem definido de testes de QA (Quality Assurance,
=aceitação?, não sei) feitos por humanos.

Já observei que muita energia é gasto nas testes automatizados. Não vou
opinar sobre o retorno deste investimento, porque não desenvolvo para RoR,
e pode ser que muitos erros desastrosos foram prevenidos por estes testes.

Mas é certo que não são suficientes. É exatamente como Braúlio falou: o
fato que os testes automatizados passam pode dar uma sensação segurança não
justificada. Houve vários releases com bugs grosseiros no interface de
usuário que um testador humano teria visto só batendo o olho.

O Moodle é um projeto muito mais maduro e com mais recursos em todos os
sentidos, mas talvez podemos se inspirar neles. Veja alguns aspectos do
processo deles:
* Para começar, *existe* um processo QA formal:
http://docs.moodle.org/dev/QA_testing
* Existe um instância para QA, para ajudar os testadores sem conhecimento
de git e acesso a uma instância de testes: http://qa.moodle.net/
* Eles tem no tracker deles uma lista de testes.
https://tracker.moodle.org/browse/MDLQA-5740 e os voluntários seguem a
receita, relatando pass ou fail.
* Releases são divididos em "grandes" a cada 6 meses, onde o processo de QA
é feito e "pequenos" a cada 6 semanas, para bugfixes e para qual é seguro
atualizar seu site de produção.

Claro que há esforços para automatizar estes testes. Usam "behat", algo de
PHP se não me engano. Mas reconheçam que sempre vai ser necessário fazer
testes humanos. Este é só um aspecto do processo inteiro
http://docs.moodle.org/dev/Process .

Se precisar e se querem fazer, a USP pode contribuir com um VM para uma
instância de "QA". Mas alguém terá que me ajudar configurar este instância
(acho que seria essencial ter um script que restaura a base a cada hora
para voltar num estado inicial conhecido).

Ewout




http://social.stoa.usp.br/ewout <http://stoa.usp.br/ewout>
F. 30916696


2013/11/25 Bráulio Bhavamitra <braulio at eita.org.br>

> Oi pessoal,
>
> Já deu para entender algumas vezes, de maneira direta ou indireta, que os
> testes automatizados são supremos e adorados. Pois bem, também acho que
> eles são muito importantes, desde que não se tire o peso da importância dos
> testes reais de usuário.
>
> Os testes automatizados criam um ambiente *artifial*, e é de fato muito
> difícil para o programador chegar perto do ambiente real.
>
> No cirandas recentemente tivemos duas regressões graves. Em ambas, os
> testes começaram a passar e a interface do usuário parou de funcionar!
> Deixo o link dos dois AIs.
> http://noosfero.org/Development/ActionItem2893
> http://noosfero.org/Development/ActionItem2826
>
> Este são exemplos recentes, mas houveram muitos outros que percebi e me
> calei...
>
> Deixo o tema para debate e reflexão...
>
> abraços,
> bráulio
>
>
> ---------- Forwarded message ----------
> From: Bráulio Bhavamitra <braulio at eita.org.br>
> Date: 2013/10/3
> Subject: Help for testing
> To: "noosfero-br at listas.softwarelivre.org" <
> noosfero-br at listas.softwarelivre.org>
>
>
> Hello all,
>
> There is a urgent bug on cirandas. Please see
> http://noosfero.org/Development/ActionItem2826
>
> But, unfortunetely, I couldn't finish the merge request with
> profile_helper tests.
> Helpers' tests really suck.... We should use cucumber instead. I took
> hours trying but couldn't reach a green state.
>
> Could anyone help to finish this merge request?
>
> regards,
> bráulio
>
> --
> "Lute pela sua ideologia. Seja um com sua ideologia. Viva pela sua
> ideologia. Morra por sua ideologia" P.R. Sarkar
>
> EITA - Educação, Informação e Tecnologias para Autogestão
> http://cirandas.net/brauliobo
> http://eita.org.br
>
> "Paramapurusha é meu pai e Parama Prakriti é minha mãe. O universo é meu
> lar e todos nós somos cidadãos deste cosmo. Este universo é a imaginação da
> Mente Macrocósmica, e todas as entidades estão sendo criadas, preservadas e
> destruídas nas fases de extroversão e introversão do fluxo imaginativo
> cósmico. No âmbito pessoal, quando uma pessoa imagina algo em sua mente,
> naquele momento, essa pessoa é a única proprietária daquilo que ela
> imagina, e ninguém mais. Quando um ser humano criado mentalmente caminha
> por um milharal também imaginado, a pessoa imaginada não é a propriedade
> desse milharal, pois ele pertence ao indivíduo que o está imaginando. Este
> universo foi criado na imaginação de Brahma, a Entidade Suprema, por isso
> a propriedade deste universo é de Brahma, e não dos microcosmos que também
> foram criados pela imaginação de Brahma. Nenhuma propriedade deste mundo,
> mutável ou imutável, pertence a um indivíduo em particular; tudo é o
> patrimônio comum de todos."
> Restante do texto em
> http://cirandas.net/brauliobo/blog/a-problematica-de-hoje-em-dia
>
>
>
> --
> "Lute pela sua ideologia. Seja um com sua ideologia. Viva pela sua
> ideologia. Morra por sua ideologia" P.R. Sarkar
>
> EITA - Educação, Informação e Tecnologias para Autogestão
> http://cirandas.net/brauliobo
> http://eita.org.br
>
> "Paramapurusha é meu pai e Parama Prakriti é minha mãe. O universo é meu
> lar e todos nós somos cidadãos deste cosmo. Este universo é a imaginação da
> Mente Macrocósmica, e todas as entidades estão sendo criadas, preservadas e
> destruídas nas fases de extroversão e introversão do fluxo imaginativo
> cósmico. No âmbito pessoal, quando uma pessoa imagina algo em sua mente,
> naquele momento, essa pessoa é a única proprietária daquilo que ela
> imagina, e ninguém mais. Quando um ser humano criado mentalmente caminha
> por um milharal também imaginado, a pessoa imaginada não é a propriedade
> desse milharal, pois ele pertence ao indivíduo que o está imaginando. Este
> universo foi criado na imaginação de Brahma, a Entidade Suprema, por isso
> a propriedade deste universo é de Brahma, e não dos microcosmos que também
> foram criados pela imaginação de Brahma. Nenhuma propriedade deste mundo,
> mutável ou imutável, pertence a um indivíduo em particular; tudo é o
> patrimônio comum de todos."
> Restante do texto em
> http://cirandas.net/brauliobo/blog/a-problematica-de-hoje-em-dia
>
> _______________________________________________
> Noosfero-br mailing list
> Noosfero-br at listas.softwarelivre.org
> http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/noosfero-br
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://listas.softwarelivre.org/pipermail/noosfero-br/attachments/20131128/23005f7d/attachment.html>