Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Pipeline] Orquestrar scripts de extração #145

Open
6 of 10 tasks
Tracked by #139
, #171
...
EduardoGurgel opened this issue Sep 10, 2023 · 3 comments
Open
6 of 10 tasks
Tracked by #139
, #171
...

[Pipeline] Orquestrar scripts de extração #145

EduardoGurgel opened this issue Sep 10, 2023 · 3 comments
Assignees
@Victor-oss @Stain19
Milestone
Sprint 20

Comments

@EduardoGurgel
Copy link
Contributor

EduardoGurgel commented Sep 10, 2023 •
edited by Victor-oss
Loading

Descrição

O Azure Data Factory é um serviço que permite orquestrar, agendar e criar fluxos de pipelines. Esta issue tem o objetivo de criar uma versão inicial que será padronizada para todas as outras tabelas.

Tarefas

Critérios de Aceitação

  • Publicar mídia com a versão inicial
  • Publicar scripts de extração
@EduardoGurgel EduardoGurgel mentioned this issue Sep 10, 2023
Closed
11 tasks
@EduardoGurgel EduardoGurgel changed the title Orquestrar scripts de extração [MVP] Orquestrar scripts de extração Sep 10, 2023
@EduardoGurgel EduardoGurgel added this to the Sprint 18 milestone Sep 10, 2023
@Stain19 Stain19 moved this from MVP to A fazer in 04_PipelineTCU Sep 15, 2023
@Stain19 Stain19 modified the milestones: Sprint 18, Sprint 14 Sep 15, 2023
@Stain19 Stain19 self-assigned this Sep 15, 2023
@Victor-oss Victor-oss moved this from A fazer to WIP in 04_PipelineTCU Sep 22, 2023
@Stain19 Stain19 modified the milestones: Sprint 14, Sprint 15 Sep 23, 2023
@Stain19 Stain19 moved this from WIP to A fazer in 04_PipelineTCU Sep 23, 2023
Victor-oss added a commit that referenced this issue Sep 24, 2023
@Victor-oss
(#145) Adição de script de extração dos dados do Anuário Estatístico …
c724e3e 
…de Energia Elétrica além da adição das seguintes tabelas advindas do Anuário: CapInstRenPaises(GW).csv, CapInstNucPaises (GW).csv, CapInstTermFosPaises(GW).csv, CapInstHidPaises(GW).csv, CapInstEolPaises(GW).csv, CapInstSolPaises(GW).csv, CapInstBioPaises(GW).csv, GerRenPaises(TWh).csv, GerNucPaises(TWh).csv, GerTermFosPaises(TWh).csv, GerHidPaises(TWh).csv, GerEolPaises(TWh).csv, GerSolPaises(TWh).csv, GerBioPaises(TWh).csv, CapInstFonte(MW).csv, GelElFonte(GWh).csv, EmGEESIN(MtCO2).csv, EmGEESistIso(MtCO2).csv, EmGEEGerEl(MtCO2).csv, ConsMedTotSubsis(kWh_mes).csv, ConsMedTotReg(kWh_mes).csv, ConsMedResSubsis(kWh_mes).csv, ConsMedResReg(kWh_mes).csv, ConsMedAnPerCapReg(kWh_hab).csv
@EduardoGurgel EduardoGurgel mentioned this issue Sep 25, 2023
Closed
6 tasks
@Stain19 Stain19 moved this from A fazer to WIP in 04_PipelineTCU Sep 25, 2023
@Stain19 Stain19 changed the title [MVP] Orquestrar scripts de extração [Pipeline} Orquestrar scripts de extração Sep 28, 2023
@Stain19 Stain19 changed the title [Pipeline} Orquestrar scripts de extração [Pipeline] Orquestrar scripts de extração Sep 28, 2023
EduardoGurgel added a commit that referenced this issue Sep 28, 2023
@EduardoGurgel
Merge pull request #168 from ResidenciaTICBrisa/modificacao_pne
d751032 
(#145) Adição de script de extração dos dados do Anuário Estatístico de Energia Elétrica
@Stain19 Stain19 modified the milestones: Sprint 15, Sprint 16 Sep 29, 2023
@Stain19 Stain19 moved this from WIP to A fazer in 04_PipelineTCU Sep 29, 2023
@Stain19 Stain19 moved this from A fazer to WIP in 04_PipelineTCU Sep 29, 2023
@Stain19
Copy link
Collaborator

Stain19 commented Oct 3, 2023

@EduardoGurgel e @Victor-oss a base de dados é o PNE 2050 ou PNE 2015?

Victor-oss added a commit that referenced this issue Oct 4, 2023
@Victor-oss
(#145) Refatoração e automatação do script de extração dos dados do A…
cdb8beb 
…nuário Estatístico de Energia Elétrica. Criação da classe excelScrapper responsável por baixar o script, da classe anuarioHandler responsável por transformar o arquivo e salvar as tabelas retiradas dele e também foi adicionado o arquivo atualiza_tabela.yml responsável por automatizar a extração, limpeza e salvamento das tabelas como os arquivos certos usando o Git Actions
@Victor-oss
Copy link
Collaborator

@EduardoGurgel e @Victor-oss a base de dados é o PNE 2050 ou PNE 2015?

PNE 2050

@Victor-oss
Copy link
Collaborator

O Git Actions vai fazer parte da arquitetura do projeto para limpar e estruturar os dados em tabelas para inserirmos no banco

Victor-oss added a commit that referenced this issue Oct 5, 2023
@Victor-oss
(#185,#145) Refatoração e pipeline dos scripts de extração do BEN e d…
fcb848b 
…o PNE 2050. Estruturação das extrações no arquivo main.py
@Victor-oss Victor-oss mentioned this issue Oct 5, 2023
Merged
@Stain19 Stain19 modified the milestones: Sprint 16, Sprint 17, Sprint 18 Oct 6, 2023
Victor-oss added a commit that referenced this issue Oct 14, 2023
@Victor-oss
(#145, #128) Adição de script de extração dos dados do PCBIO relacion…
26aa8ad 
…ados a crédito de carbono e dados presentes no Sirene relacionados à Comunicação Nacional do Brasil sobre Emissões de GEE
@Victor-oss Victor-oss mentioned this issue Oct 14, 2023
Merged
@Stain19 Stain19 modified the milestones: Sprint 18, Sprint 19, Sprint 20 Oct 20, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@Victor-oss Victor-oss

@Stain19 Stain19

Labels
None yet
Projects
04_PipelineTCU
Status: WIP
Milestone
Sprint 20
Development

No branches or pull requests
5 participants
@EduardoGurgel @ubrando @Victor-oss @caiozim112 @Stain19