Report hipscat for DP01 Truth

[deborajanini]

Passo 2 - Primeira rodada e registro - Truth do DP0.1

• Definir as configurações padrão do cluster que serão usadas para as rodadas. Estou pensando em 10 nós, 48 cores por nó, 6 processes por nó (8 cores por processo) e 114GB de memória por nó (19GB por processo).
• Fazer o import_hipscat para a tabela Truth completa do DP0.1, sem nenhum filtro.
  • /lustre/t1/cl/lsst/dp01/primary/catalogs/truth
  • Para rodar o import_hipscat, entender como implementar nos scripts o código para salvar os seguintes dados da rodada:
    • Path dos arquivos de entrada e de saída.
    • Tamanho dos arquivos de entrada e de saída.
    • Tempo de processamento.
    • Info from DASK report.
    • Informações sobre as máquinas usadas (quantos nós, quantos cores, quanto de mem, etc).
• Obter os seguintes dados via Jupyter notebook, utilizando os métodos das bibliotecas hipscat, hipscat_import e lsdb:
  • Plots default do hipscat (dist. espacial dos dados e dos pixels após reorganização)
  • "Sumarize pixels and sizes"
  • Filesize distribution
• Agrupar e consolidar os dados e análise no Jupyter notebook.
• Tranferir, de forma resumida e visual, esses dados para o relatório do report_hipscat.

[luigilcsilva]

Primeira parte do report, sobre o DC2 Truth, concluída. Aguardando revisão da @gschwend no documento do google docs (https://docs.google.com/document/d/1-_TIuTRyTS9TavFcyUd5kFYR8gc0CpW2muzgPY3Y8DA/edit?usp=sharing).

[luigilcsilva]

Modificações feitas no report (https://docs.google.com/document/d/1-_TIuTRyTS9TavFcyUd5kFYR8gc0CpW2muzgPY3Y8DA/edit?usp=sharing).

[gschwend]

@luigilcsilva relatório parcial aprovado, voltei com o status para In progress para vc continuar com os demais datasets.

[luigilcsilva]

@gschwend, a tarefa principal é a report hipscat DES DR2 and DP0.2. Essa é só para o truth, então pode ir para done.