Dataset template

Este repositório serve para testar validação online de dados com o pacote Frictionless, para o caso de uso de promoção e progressão em escala dos servidores de carreiras de diferentes órgãos

Passos para montagem

1. Geração de arquivo no BO com todas as siglas de

• carreiras
• níveis
• graus
• símbolos vencimento

2. Atualização do datapackage.yaml, que é o esquema de metadados que contém os valores possíveis listados no item 1 acima. Um script útil de conversão de listagem para o formato yaml encontra-se neste google colab

3. Adição de comando de junção de arquivos no script de conversão de excel para csv, removendo cabeçalhos e linhas duplicadas (para o caso de duplicadas, o script preservará as mais recentes)

4. Adicionar comando de remoção de arquivos que já estiverem processados (processo externo com trigger no Power Automate, a cada mês, para Mantis da PRODEMGE)

Passos para testagem

• carregar arquivo de algum dos órgãos

• verificar funcionamento do relatório de validação

  • falta entender por que a formatação da coluna simbolo não foi aceita no actions do github, sendo que um linter online validou o arquivo yaml

  • formatação da coluna data na planilha SEJUSP (por que converteu para datetime em vez de somente date como na SEE)

• rodar ETL com remoção de arquivo já copiado para Mantis pelo fluxo do Power Automate

  • todos participantes deverão seguir o mesmo leiaute, com mesmo nome de arquivo; fazer conta no github, ou então centralizar numa pessoa da SCAP