Baza de date nouă.

[necenzurat]

Pentru ca sunt multe bube cu asta, ce parere aveti sa ii facem un update cu cea de la INSSE?

Vreun format preferat?

JSON
XML???WHY?!!!
CSV
TSV
SQL?

[SchnWalter]

Cred că cel mai accesibil format este CSV-ul, oricine are o aplicație pentru spreadsheet-uri.

[necenzurat]

eu renunt la: http://colectaredate.insse.ro/senin/classifications.htm?selectedClassification=SIRUTA_S1_2019&action=download
sunt MDB-uri si nu am idee de un proces automat de a le face frumoase.

[sergiubologa]

Trebuie ales un singur format? Ar fi greu de mentinut un JSON si un CSV?

[SchnWalter]

Wow, arhivă RAR? N-am mai văzut așa ceva de prin 2008.

Aș fi curios care este legea care îi obligă să publice acele infromații. Dacă o găsesc, am să le scriu ca să îi trag de urechi, nu de alta, dar RAR este un format proprietar foarte rar folosit (pun intended), și pe lângă asta, ei sigur nu au licentă pentru așa ceva și fiind format privat dubios, nici nu este accesibil tuturor. Am să le sugerez să publice în format ZIP.

Iar legat de MDB, chiar dacă e fechi formatul, e destul de cunoscut, sunt sigur că există zeci de librării pentru diferite limbaje. Am să verific.

-- dar nu vă țineți respirația, că o să dureze puțin până reușesc să îmi fac timp.

[necenzurat]

am verificat eu.
.mdb - nope
.dbf - e ok, dar nu au diacritice
.rtf - fisierul este RTF, are diacritice dar se va ca un 💩

[SchnWalter]

Pentru .mdb am găsit:

• https://github.com/mkleehammer/pyodbc
• https://github.com/jiangwen365/pypyodbc/

Vezi: Connecting to Microsoft Access

[necenzurat]

am folosit http://mdbtools.sourceforge.net dar rezulta toate numerele in float, cel putin pe mac.

[SchnWalter]

N-am chinuit azi câteva ore bune să deschid acea bază de date cu Python și n-am reușit. Dar până la urmă am reușit cu DataGrip-ul celor de la JetBrains. Ulterior am reușit să deschid și în DB explorer-ul din PyCharm.

Acum am toate informațiile necesare ca să fac să meargă script-ul de Python, folosind driverul de DB de java (folosit și de DataGrip/PyCharm). Pe săptămâna viitoare sper să avem un script simplu care rulează într-un Python Virtualenv (și folosește Java Runtime). Am să fac un MR când e gata.

Și să ști ca ăștia folosesc diacriticele comuniștilor, care au fost schimbate în 1999. Am să integrez și conversia asta în script; până acum am identificat 3 litere:

$ echo -n 'ÃãŞşŢţ' | hexdump
0000000 83c3 a3c3 9ec5 9fc5 a2c5 a3c5
000000c


$ echo -n 'ĂăȘșȚț' | hexdump
0000000 82c4 83c4 98c8 99c8 9ac8 9bc8
000000c

Aici ai conținutul raw al bazei de date, convertit într-un CSV cu UTF-8 fără BOM, deci s-ar putea să nu meargă în build-ul de MacOS al MS Office. Dar sunt sigur merge în orice altceva.

SIR_DIACRITIC--20191009-011151.utf-8.csv -- nu merge în MacOS cu MS Office

Am adăugat și versiunea cu BOM:

SIR_DIACRITIC--20191009-011151.utf-8-bom.csv

Aparent asta e singura cerință ca să nu facă figuri versiune de MS Office din MacOS.

$ file SIR_DIACRITIC--20191009-011151.utf-8.csv
SIR_DIACRITIC--20191009-011151.utf-8.csv: UTF-8 Unicode text

$ file SIR_DIACRITIC--20191009-011151.utf-8-bom.csv
SIR_DIACRITIC--20191009-011151.utf-8-bom.csv: UTF-8 Unicode (with BOM) text

L.E. Trebuie văzut ce-i cu acele caractere. Am trecut prin chardetect și nu e sigur de ce găsește acolo: Nevermind, BOM-ul era de vină.

$ chardetect SIR_DIACRITIC--20191009-011151.utf-8.csv
SIR_DIACRITIC--20191009-011151.utf-8.csv: utf-8 with confidence 0.99

$ chardetect SIR_DIACRITIC--20191009-011151.utf-8-bom.csv
SIR_DIACRITIC--20191009-011151.utf-8-bom.csv: UTF-8-SIG with confidence 1.0

[necenzurat]

ok, cum, putem automatiza?

[SertITN]

Pentru ca sunt multe bube cu asta, ce parere aveti sa ii facem un update cu cea de la INSSE?

Vreun format preferat?

JSON XML???WHY?!!! CSV TSV SQL?

CSV si XML

[necenzurat]

Xml, csv si json ar merge, sa includem fie diversitate de formate.

On Sun, 7 May 2023 at 19:15 SertITN ***@***.***> wrote: Pentru ca sunt multe bube cu asta, ce parere aveti sa ii facem un update cu cea de la INSSE? Vreun format preferat? JSON XML???WHY?!!! CSV TSV SQL? CSV si XML — Reply to this email directly, view it on GitHub <#13 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AABDQKI4GBL6SBCYIFOZPOTXE7DB3ANCNFSM4IV3NMGA> . You are receiving this because you authored the thread.Message ID: ***@***.***>

--

…

-- *Costin Moise* aka necenzurat Dev-at-large 💻 Find me: +4 0726 459 188 <+4+0726.459.188> | Github <https://github.com/necenzurat> | Linkedin <http://www.linkedin.com/in/necenzurat>