Como rotular imagens de ovos para calibrar a classificação?

Quais classes usar nos rótulos?

Use as quatro classes do Vigiovo: limpo, sujo, trincado e não verificado. Um rótulo com outra classe, como vazado ou fissurado, não tem como ser comparado com a saída do sistema. Antes de rotular qualquer ovo, a equipe precisa decidir o que cada classe significa na sua linha.

A classe limpo exige casca limpa e intacta. A regulamentação brasileira usa a mesma ideia para a categoria A: casca e cutícula “de forma normal, lisas, limpas, intactas” (RIISPOA, art. 225). Uma mancha que você não aceitaria na categoria A deve ser rotulada como suja, mesmo que o ovo pareça bonito à primeira vista.

O ovo vazado não tem classe própria no Vigiovo. A regulamentação considera impróprios para consumo humano os ovos com “rompimento da casca e das membranas testáceas” (RIISPOA, art. 500, VII). Defina antes de começar como esses ovos entram no conjunto e registre a decisão.

Como escrever regras de rotulagem que a equipe siga?

Escreva uma regra curta para cada classe, em uma frase, e junte fotos que a representam. Uma regra vaga, como “ovo com sujeira”, gera rótulos diferentes para o mesmo ovo. Uma regra que diz exatamente o que olhar, como a área da casca coberta pela mancha ou o comprimento e a profundidade da linha, deixa menos espaço para interpretação.

Siga esta ordem ao montar o conjunto de regras:

1. Escreva a regra de cada classe em uma frase, com o que o rotulador deve olhar.
2. Reúna exemplos de cada classe e de cada caso de fronteira, com a foto ao lado do rótulo.
3. Anote a decisão para ovos sujos e trincados e para ovos que saem da fronteira da imagem.
4. Revise as regras com toda a equipe antes de rotular o conjunto inteiro.

Guarde as regras junto com o conjunto de rótulos. Se alguém mudar uma regra, as imagens rotuladas antes dela precisam ser revistas.

Como rotular os casos de fronteira?

Ovo sujo e trincado é o caso mais comum de conflito. Para ele, o Vigiovo aplica uma regra de desempate que manda o ovo para a classe mais severa, e a equipe deve usar a mesma regra. Se o rótulo humano seguir outra lógica, a diferença medida virá da regra, e não da visão. A regulamentação também não deixa margem: é proibida a utilização e a lavagem de ovos sujos trincados para a fabricação de derivados (RIISPOA, art. 228).

Defeito que só a ovoscopia revela, como a trinca capilar ou um defeito interno, não aparece na foto. Não rotule esse ovo como limpo, porque o rótulo afirmaria algo que a imagem não mostra. Deixe-o fora do conjunto de imagens ou registre-o à parte.

Ovo cortado pela borda da imagem, sobreposto a outro ou de formato anormal recebe o rótulo não verificado. Esse é o mesmo critério do Vigiovo, que não atribui nota a esses ovos. Mantenha a classe não verificado no conjunto: forçar um desses ovos para limpo ou sujo mistura uma suposição com um resultado.

Como garantir que duas pessoas rotulem do mesmo jeito?

Peça a duas pessoas treinadas que rotulem as mesmas imagens, cada uma por conta própria, sem discutir os casos durante o trabalho. Depois compare os dois conjuntos ovo a ovo e discuta apenas as divergências. Cada divergência tem uma causa: ou a regra não cobre o caso, ou um dos rotuladores errou. Nos dois casos, a regra escrita muda e as imagens afetadas são rotuladas de novo.

Use o treinamento de operadores como ponto de partida para a mesma leitura do ovo. Se a divergência se repetir para o mesmo tipo de imagem, vale checar a luz e o enquadramento antes de concluir que o rotulador errou, como explica iluminação para inspeção de ovos.

Quantos ovos rotular e como separar o conjunto de teste?

Rotule algumas centenas de ovos da sua linha, em momentos diferentes do turno e em dias diferentes, para que o conjunto cubra a variação real da esteira. Separe uma parte deles como conjunto de teste antes de ajustar qualquer limite, e não olhe esse conjunto durante o ajuste.

O Vigiovo decide sempre do mesmo jeito para a mesma imagem e configuração, por isso os rótulos servem para comparar a configuração, não para ensinar o sistema. O passo a passo, com o que ajustar e como medir a distância de cada decisão até o limite, está em calibração com ovos rotulados. O piloto que usa esse conjunto está descrito em como montar um piloto de inspeção por câmera.

Perguntas frequentes

Quantas pessoas devem rotular as mesmas imagens?

Pelo menos duas, cada uma por conta própria. Comparar os dois conjuntos mostra onde a regra escrita não é clara. Depois da comparação, as divergências são discutidas, a regra é ajustada e as imagens afetadas são rotuladas de novo, com a mesma regra para todos.

Posso rotular ovos só com a foto, sem ovoscopia?

Sim, desde que o rótulo se limite ao que a foto mostra. Sujeira e trincas visíveis aparecem na imagem. Trincas capilares e defeitos internos não aparecem, então esses ovos devem ficar de fora do conjunto ou ser registrados à parte, e não receber o rótulo limpo.

Em qual classe entra o ovo vazado?

O Vigiovo não tem classe própria para ovo vazado. Defina antes de rotular como esses ovos entram no conjunto e registre a decisão. A regulamentação considera impróprios para consumo humano os ovos com rompimento da casca e das membranas testáceas (RIISPOA, art. 500, VII).

Fontes

1. Como o Vigiovo classifica ovos sem IA / How Vigiovo grades eggs without AI, Vigiovo
2. Decreto nº 9.013/2017 (RIISPOA), Presidência da República (Brasil)