Feature/new data into main

data/linguagem_simples_inmetro/linguagem_simples_inmetro_description.json

@@ -0,0 +1,6 @@
+{
+  "n_amostral_csv": 63,
+  "n_amostral_processed": 63,
+  "source": "https://www.gov.br/inmetro/pt-br/centrais-de-conteudo/publicacoes/dicionario-linguagem-simples/de-a-a-z/index",
+  "about": "Desde 2021, o Inmetro abraçou de forma mais estruturada a causa da linguagem simples. Este é um movimento que vem ganhando força no setor público brasileiro e que tem como principal objetivo transmitir informações de maneira simples e clara, facilitando a compreensão dos cidadãos. Como parte das iniciativas, o Inmetro, representado por integrantes de suas diversas Unidades Principais (UP), em parceria com os Institutos de Pesos e Medidas de São Paulo e do Amazonas – Ipem/AM e Ipem/SP – elaborou este dicionário. A publicação traz uma explicação, em linguagem simples, de palavras e expressões relacionadas ao universo da metrologia, da avaliação da conformidade e da acreditação. O dicionário seguiu as diretrizes de linguagem simples do Inmetro e não substitui definições técnicas e internacionalmente estabelecidas, previstas em instrumentos como o Vocabulário Internacional de Metrologia (VIM) ou o Vocabulário Internacional de Metrologia Legal (VIML). Pelo contrário, o objetivo é facilitar o entendimento destes termos, amplamente discutidos e precisamente definidos por técnicos e especialistas, para o público geral."
+}

data/linguagem_simples_inmetro/linguagem_simples_inmetro_download_csv.py

@@ -0,0 +1,68 @@
+import requests
+from bs4 import BeautifulSoup
+import csv
+import re
+
+URL_INMETRO = "https://www.gov.br/inmetro/pt-br/centrais-de-conteudo/publicacoes/dicionario-linguagem-simples/de-a-a-z/index"
+RAW_DATA_PATH = "linguagem_simples_inmetro_raw_data.csv"
+
+def fetch_and_parse_url(url):
+    response = requests.get(url)
+    soup = BeautifulSoup(response.content, 'html.parser')
+    return soup
+
+
+def extract_terms(soup):
+    terms = []
+    headlines = soup.find_all('h2', class_='headline')
+    for headline in headlines:
+        term = headline.get_text(strip=True)
+        terms.append(term)
+    return terms
+
+
+def clean(element):
+    for a_tag in element.find_all('a'):
+        a_tag.decompose()
+    text = element.get_text(strip=True)
+    text = text.replace('\u00a0', ' ').replace('\u200b', ' ').replace('\u200c', ' ').replace('\u200d', ' ').replace('–', ' ') # replace NO-BREAK SPACE and other non-breaking spaces w/ a regular space
+    text = text.replace(' ()', '').replace('()', '')
+    text = re.sub(r'\s+', ' ', text) # remove double spaces
+    return text
+
+
+def extract_definitions(soup):
+    definitions = []
+    tables = soup.find_all('table', class_='plain')
+
+    for table in tables:
+        rows = table.find_all('tr')
+
+        tech_definition_img = rows[0].find('img', alt="Emoji preocupado (Termo técnico)")
+        if tech_definition_img:
+            tech_definition_element = rows[0].find('p')
+            tech_definition = clean(tech_definition_element)
+
+            simple_definition_img = rows[1].find('img', alt="Emoji Feliz (Linguagem Simples)")
+            if simple_definition_img:
+                simple_definition_p = rows[1].find_all('p')
+                simple_definition = clean(simple_definition_p[1])
+
+                definitions.append([tech_definition, simple_definition])
+
+    return definitions
+
+
+def save_to_csv(terms, definitions, filename):
+    with open(filename, mode='w', newline='', encoding='utf-8') as file:
+        writer = csv.writer(file)
+        writer.writerow(["Termo", "Definição Técnica", "Linguagem Simples"])
+        for term, definition in zip(terms, definitions):
+            writer.writerow([term] + definition)
+
+
+if __name__ == "__main__":
+    soup = fetch_and_parse_url(URL_INMETRO)
+    definitions = extract_definitions(soup)
+    terms = extract_terms(soup)
+    save_to_csv(terms, definitions, RAW_DATA_PATH)

data/linguagem_simples_inmetro/linguagem_simples_inmetro_preprocess.py

@@ -0,0 +1,29 @@
+import csv
+import json
+
+RAW_DATA_PATH = "linguagem_simples_inmetro_raw_data.csv"
+PROCESSED_DATA_PATH = "linguagem_simples_inmetro_processed_data.json"
+
+def csv_to_json(csv_filename, json_filename):
+    data = []
+    with open(csv_filename, mode='r', encoding='utf-8') as csvfile:
+        csvreader = csv.DictReader(csvfile)
+        for i, row in enumerate(csvreader):
+            term = row['Termo']
+            tech_definition = row['Definição Técnica']
+            simple_definition = row['Linguagem Simples']
+
+            original = f"{term}: {tech_definition}"
+            simplified = f"{term}: {simple_definition}"
+
+            data.append({
+                "id": i + 1,
+                "original": original,
+                "simplified": simplified
+            })
+
+    with open(json_filename, mode='w', encoding='utf-8') as jsonfile:
+        json.dump(data, jsonfile, ensure_ascii=False, indent=4)
+
+if __name__ == "__main__":
+    csv_to_json(RAW_DATA_PATH, PROCESSED_DATA_PATH)