desafio-matematica-ENEM2016.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"desafio-matematica-ENEM2016.ipynb","provenance":[],"collapsed_sections":[]},"kernelspec":{"display_name":"Python 3","language":"python","name":"python3"},"language_info":{"codemirror_mode":{"name":"ipython","version":3},"file_extension":".py","mimetype":"text/x-python","name":"python","nbconvert_exporter":"python","pygments_lexer":"ipython3","version":"3.7.4"}},"cells":[{"cell_type":"markdown","metadata":{"colab_type":"text","id":"YGiY76Q8UNB0"},"source":["Instruções\n","Descubra as melhores notas de matemática do ENEM 2016\n","\n","Você deverá criar um modelo para prever a nota da prova de matemática de quem participou do ENEM 2016.\n","Tópicos\n","\n","Neste desafio você aprenderá:\n","\n","    Lógica\n","    Análise de dados\n","    Estatística\n","    Regression\n","\n","Detalhes\n","\n","O contexto do desafio gira em torno dos resultados do ENEM 2016 (disponíveis no arquivo train.csv). Este arquivo, e apenas ele, deve ser utilizado para todos os desafios. Qualquer dúvida a respeito das colunas, consulte o Dicionário dos Microdados do Enem 2016.\n","\n","Muitas universidades brasileiras utilizam o ENEM para selecionar seus futuros alunos e alunas. Isto é feito com uma média ponderada das notas das provas de matemática, ciências da natureza, linguagens e códigos, ciências humanas e redação, com os pesos abaixo:\n","\n","    matemática: 3\n","    ciências da natureza: 2\n","    linguagens e códigos: 1.5\n","    ciências humanas: 1\n","    redação: 3\n","\n","No arquivo test.csv crie um modelo para prever nota da prova de matemática (coluna NU_NOTA_MT) de quem participou do ENEM 2016.\n","\n","Salve sua resposta em um arquivo chamado answer.csv com duas colunas: NU_INSCRICAO e NU_NOTA_MT.\n","\n","Faça o upload do arquivo answer.csv usando o botão [“Submeter resposta”](https://codenation.dev/aceleradev/ds-online-1/challenge/enem-ps).\n","Observações\n","\n","O objetivo do desafio é avaliar a sua capacidade de resolver problemas, então ele pode ser resolvido em qualquer linguagem de programação ou ferramenta que você tenha facilidade. Mas recomendamos o uso de linguagens com maior ferramental de matemática e estatística como Python, R, Scala ou Julia.\n"]},{"cell_type":"markdown","metadata":{"colab_type":"text","id":"4_d9zwd6UfUU"},"source":["Como a base para submissão só possui um subconjunto das variáveis presentes na base de treinamento, apenas serãoconsideradas as colunas abaixo. As colunas que não estiverem presentes serão descartadas sem análise.\n","\n","NU_INSCRICAO: Número de inscrição \n","> Identificador de inscrição do candidato. será o indexador do dataset\n","\n","CO_UF_RESIDENCIA: Código da Unidade da Federação de residência\n","> Será descartado\n","\n","SG_UF_RESIDENCIA: Sigla da Unidade da Federação de residência\n","\n","NU_IDADE: idade do candidato\n","\n","TP_SEXO: sexo do candidato\n","{\"M\":0,\n","\"F\":1}\n","\n","TP_COR_RACA: cor/raça do candidato \n","{0:\"cor_raca_n_declarada\",\n","1:\"cor_raca_branca\",\n","2:\"cor_raca_preta\",\n","3:\"cor_raca_parda\",\n","4:\"cor_raca_amarela\",\n","5:\"cor_raca_indigena\",\n","6:\"cor_raca_n_declarada}\n","\n","\n","TP_NACIONALIDADE: Nacionalidade\n","> {0:\"nacionalidade_n_informada\",\n","1:\"nacionalidade_brasileira\",\n","2:\"nacionalidade_brasileira_natu\",\n","3:\"nacionalidade_estrang\",\n","4:\"nacionalidade_brasileira_exterior\"}\n","\n","TP_ST_CONCLUSAO: Situação de conclusão do Ensino Médio\n","> {0:\"conclusao_n_informada\",\n","1:\"conclusao_concluido\",\n","2:\"conclusao_cursando_em_2016\",\n","3:\"conclusao_cursando_apos_2016\",\n","4:\"conclusao_n_concluido_cursando\"}\n","\n","TP_ANO_CONCLUIU: Ano de Conclusão do Ensino Médio\n","> {0:\"ano_conclusao_n_informado\",\n","1:\"ano_conclusao_2015\",\n","2:\"ano_conclusao_2014\",\n","3:\"ano_conclusao_2013\",\n","4:\"ano_conclusao_2012\",\n","5:\"ano_conclusao_2011\",\n","6:\"ano_conclusao_2010\",\n","7:\"ano_conclusao_2009\",\n","8:\"ano_conclusao_2008\",\n","9:\"ano_conclusao_2007\",\n","10:\"ano_conclusao_anterior_2007}\n","\n","\n","TP_ESCOLA:Tipo de escola do Ensino Médio\n","> {1:\"tp_escola_n_informada\",\n","2:\"tp_escola_publica\",\n","3:\"tp_escola_privada\",\n","4:\"tp_escola_exterior\"}\n","\n","\n","TP_ENSINO: Tipo de instituição que concluiu ou concluirá o Ensino Médio \n","> {1:\"tp_ensino_n_informado\",\n","2:\"tp_ensino_regular\",\n","3:\"tp_ensino_privado\",\n","4:\"tp_ensino_exterior\"}\n","\n","IN_TREINEIRO: Indica se o inscrito fez a prova com intuito de apenas treinar seus conhecimentos\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","TP_DEPENDENCIA_ADM_ESC: Dependência administrativa (Escola)\n","> {0:\"tp_escola_n_informada\",\n","1:\"tp_escola_federal\",\n","2:\"tp_escola_estadual\",\n","3:\"tp_escola_municipal\",\n","4:\"tp_escola_privada\"}\n","\n","IN_BAIXA_VISAO: Indicador de baixa visão5\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_CEGUEIRA: Indicador de cegueira\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_SURDEZ: Indicador de surdez\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_DISLEXIA: Indicador de dislexia\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_DISCALCULIA: Indicador de discalculia\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_SABATISTA: Indicador de solicitação de prova aplicada em horário diferenciado para os guardadores dos sábados5\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_GESTANTE: Indicador de gestante\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","IN_IDOSO: Indicador de inscrito idoso\n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","TP_PRESENCA_CN: Presença na prova objetiva de Ciências da Natureza\n","> {0:\"tp_cn_faltou\",\n","1:\"tp_cn_presente\",\n","2:\"tp_cn_eliminado\"}\n","\n","TP_PRESENCA_CH: Presença na prova objetiva de Ciências da Natureza\n","> {0:\"tp_ch_faltou\",\n","1:\"tp_ch_presente\",\n","2:\"tp_ch_eliminado\"}\n","\n","TP_PRESENCA_LC: Presença na prova objetiva de Linguagens e Códigos\n","> {0:\"tp_lc_faltou\",\n","1:\"tp_lc_presente\",\n","2:\"tp_lc_eliminado\"}\n","\n","CO_PROVA_CN: Código do tipo de prova de Ciências da Natureza\n","> não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","\n","CO_PROVA_CH: Código do tipo de prova de Ciências Humanas\n","> não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","\n","CO_PROVA_LC: Código do tipo de prova de Linguagens e Códigos\n","> não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","\n","CO_PROVA_MT: Código do tipo de prova de Matemática\n","> não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","\n","NU_NOTA_CN: Nota da prova de Ciências da Natureza\n","\n","NU_NOTA_CH: Nota da prova de Ciências Humanas\n","\n","NU_NOTA_LC: Nota da prova de Linguagens e Códigos\n","\n","TP_LINGUA: Língua Estrangeira \n","> Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","\n","TP_STATUS_REDACAO: Situação da redação do participante\n","> {0:\"tp_red_anulada\",\n","1:\"tp_red_sem_problemas\",\n","2:\"tp_red_anulaad\",\n","3:\"tp_red_copia_txt_motivador\",\n","4:\"tp_red_em_branco\",\n","5:\"tp_red_fere_dir_hum\",\n","6:\"tp_red_fuga\",\n","7:\"tp_red_n_atend_tipo\",\n","8:\"tp_red_txt_insu\",\n","9:\"tp_red_parte_desconec\"}\n","\n","NU_NOTA_COMP1: Nota da competência 1 - Demonstrar domínio da modalidade escrita formal da Língua Portuguesa.\n","> variável será descartada\n","\n","NU_NOTA_COMP2: Nota da competência 2 - Compreender a proposta de redação e aplicar conceitos das várias áreas de conhecimento para desenvolver o tema, dentro dos limites estruturais do texto dissertativo-argumentativo em prosa.\n","> variável será descartada\n","\n","NU_NOTA_COMP3: Nota da competência 3 - Selecionar, relacionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista.\n","> variável será descartada\n","\n","NU_NOTA_COMP4: Nota da competência 3 - Selecionar, relacionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista.\n","> variável será descartada\n","\n","NU_NOTA_COMP5: Nota da competência 5 - Elaborar proposta de intervenção para o problema abordado, respeitando os direitos humanos.\n","> variável será descartada\n","\n","NU_NOTA_REDACAO: Nota da prova de redação\n",">\n","\n","Q001: Até que série seu pai, ou o homem responsável por você, estudou?\n",">{A:\"Q001_A\",\n","B:\"Q001_B\",\n","C:\"Q001_C\",\n","D:\"Q001_D\",\n","E:\"Q001_E\",\n","F:\"Q001_F\",\n","G:\"Q001_G\",\n","H:\"Q001_H\",\n","null:\"Q001_H\"}\n","\n","Q002: Até que série sua mãe, ou a mulher responsável por você, estudou?\n","> {A:\"Q002_A\",\n","B:\"Q002_B\",\n","C:\"Q002_C\",\n","D:\"Q002_D\",\n","E:\"Q002_E\",\n","F:\"Q002_F\",\n","G:\"Q002_G\",\n","H:\"Q002_H\",\n","null:\"Q002_H\"}\n","\n","Q006: Qual é a renda mensal de sua família? (Some a sua renda com a dos seus familiares.) \n","> {A:\"Q006_A\",\n","B:\"Q006_B\",\n","C:\"Q006_C\",\n","D:\"Q006_D\",\n","E:\"Q006_E\",\n","F:\"Q006_F\",\n","G:\"Q006_G\",\n","H:\"Q006_H\",\n","I:\"Q006_I\",\n","J:\"Q006_J\",\n","K:\"Q006_K\",\n","L:\"Q006_L\",\n","M:\"Q006_M\",\n","N:\"Q006_N\",\n","O:\"Q006_O\",\n","P:\"Q006_P\",\n","Q:\"Q006_Q\",\n","null:?}\n","\n","Q024:Na sua residência tem computador?\n","> {A:\"Q024_A\",\n","B:\"Q024_B\",\n","C:\"Q024_C\",\n","D:\"Q024_D\",\n","E:\"Q024_E\",\n","null:?}\n","\n","Q025: Na sua residência tem acesso à Internet?\n","> {A:\"Q025_A\",\n","B:\"Q025_B\",\n","null:\"Q025_A\"}\n","\n","Q026: Você exerce ou já exerceu atividade remunerada?\n","> A:\"Q026_A\",\n","B:\"Q026_B\",\n","C:\"Q026_C\",\n","null:\"Q026_A\"}\n","\n","Q027: Com que idade você começou a exercer uma atividade remunerada?\n",">{A:\"Q027_A\",\n","B:\"Q027_B\",\n","C:\"Q027_C\",\n","D:\"Q027_D\",\n","E:\"Q027_E\",\n","F:\"Q027_F\",\n","G:\"Q027_G\",\n","H:\"Q027_H\",\n","I:\"Q027_I\",\n","J:\"Q027_J\",\n","K:\"Q027_K\",\n","L:\"Q027_L\",\n","M:\"Q027_M\",\n","null:N:\"Q027_N\"}\n","\n","Q047: Em que tipo de escola você frequentou o Ensino Médio?\n","> >{A:\"Q047_A\",\n","B:\"Q047_B\",\n","C:\"Q047_C\",\n","D:\"Q047_D\",\n","E:\"Q047_E\",\n","null:F:\"Q047_F\"}\n","\n","\n","\n","\n"]},{"cell_type":"markdown","metadata":{"colab_type":"text","id":"GXqlbNXUTLkT"},"source":["Import das bibliotecas e leitura dos arquivos\n"]},{"cell_type":"code","metadata":{"colab_type":"code","id":"Xx_ahFz1Uvwp","colab":{}},"source":["import numpy as np\n","import pandas as pd\n","def leitura_treino_teste():\n","  \n","  #train = pd.read_csv(\"/content/drive/My Drive/Mestrado/Projetos/Github/desafio-matematica-ENEM2016/train.csv\")\n","  train = pd.read_csv(\"https://raw.githubusercontent.com/eduardodut/desafio-matematica-ENEM2016/master/train.csv\")\n","  train = train.set_index('NU_INSCRICAO')\n","\n","  #test =  pd.read_csv(\"/content/drive/My Drive/Mestrado/Projetos/Github/desafio-matematica-ENEM2016/test.csv\")\n","  test = pd.read_csv(\"https://raw.githubusercontent.com/eduardodut/desafio-matematica-ENEM2016/master/test.csv\")\n","  test = test.set_index('NU_INSCRICAO')\n"," \n","\n","  return train, test\n","\n"],"execution_count":0,"outputs":[]},{"cell_type":"markdown","metadata":{"colab_type":"text","id":"MYcimrVo5slX"},"source":["Tratamento das colunas citadas no início da resolução"]},{"cell_type":"code","metadata":{"id":"6dRLtQl6sY9X","colab_type":"code","colab":{}},"source":["def dicionario_codigo_prova(codigo):\n","    append_str = codigo+'_'\n","\n","    string = np.fromstring(np.arange(train[codigo].unique().shape[0]).tostring(),dtype=int)\n","\n","    # Append suffix / prefix to strings in list \n","    pre_res = [append_str.lower() + str(sub) for sub in string] \n","\n","    return {k: v for k, v in zip(train[codigo].unique(),pre_res)}\n","\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"colab_type":"code","id":"aqiKE1tO5ufu","colab":{}},"source":["def preprocessamento(train,test):\n"," \n","\n","  train_copy = train.copy()\n","  test_copy = test.copy()\n","  lista_descarte = []\n","\n","\n","  def replace_dummy_remove_column(coluna, dicionario, train_copy, test_copy):\n","    train_replaced = train_copy.replace({coluna: dicionario})\n","    test_replaced = test_copy.replace({coluna: dicionario})\n","    return dummy_remove_column(coluna, train_replaced, test_replaced)\n","\n","  def dummy_remove_column(coluna, train_copy, test_copy):\n","    return pd.concat([train_copy,pd.get_dummies(train_copy[coluna])],axis=1), pd.concat([test_copy,pd.get_dummies(test_copy[coluna])],axis=1)\n","  \n","  '''  \n","  NU_INSCRICAO: Número de inscrição \n","  > Identificador de inscrição do candidato. será o indexador do dataset\n","\n","  CO_UF_RESIDENCIA: Código da Unidade da Federação de residência\n","  > Será descartado\n","  '''\n","    \n","  lista_descarte.append('CO_UF_RESIDENCIA')\n"," \n","  '''\n","  SG_UF_RESIDENCIA: Sigla da Unidade da Federação de residência\n","  '''\n","  train_copy = pd.concat([train_copy,pd.get_dummies(train_copy['SG_UF_RESIDENCIA'])],axis=1)\n","  test_copy = pd.concat([test_copy,pd.get_dummies(test_copy['SG_UF_RESIDENCIA'])],axis=1)\n","  lista_descarte.append('SG_UF_RESIDENCIA')\n","\n","  '''\n","  NU_IDADE: idade do candidato\n","\n","  '''\n","\n","  '''\n","  TP_SEXO: sexo do candidato\n","  '''\n","  train_copy = pd.concat([train_copy,pd.get_dummies(train_copy['TP_SEXO'])],axis=1)\n","  test_copy = pd.concat([test_copy,pd.get_dummies(test_copy['TP_SEXO'])],axis=1)\n","  lista_descarte.append('TP_SEXO')\n","\n","\n","  '''\n","  TP_COR_RACA: cor/raça do candidato \n","  '''\n","  dic_TP_COR_RACA =  {0:\"cor_raca_n_declarada\",\n","                      1:\"cor_raca_branca\",\n","                      2:\"cor_raca_preta\",\n","                      3:\"cor_raca_parda\",\n","                      4:\"cor_raca_amarela\",\n","                      5:\"cor_raca_indigena\"}\n","  \n","  train_copy, test_copy = replace_dummy_remove_column(\"TP_COR_RACA\",dic_TP_COR_RACA, train_copy, test_copy)\n","  lista_descarte.append('TP_COR_RACA')\n","\n","  '''\n","  TP_NACIONALIDADE: Nacionalidade\n","  > \n","  '''\n","  dic_TP_NACIONALIDADE =  {0:\"nacionalidade_n_informada\",\n","                      1:\"nacionalidade_brasileira\",\n","                      2:\"nacionalidade_brasileira_natu\",\n","                      3:\"nacionalidade_estrang\",\n","                      4:\"nacionalidade_brasileira_exterior\"}\n","\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_NACIONALIDADE',dic_TP_NACIONALIDADE, train_copy, test_copy)\n","  lista_descarte.append('TP_NACIONALIDADE')\n","  '''\n","  TP_ST_CONCLUSAO: Situação de conclusão do Ensino Médio\n","  > \n","  '''\n","\n","  dic_TP_ST_CONCLUSAO = {0:\"conclusao_n_informada\",\n","                         1:\"conclusao_concluido\",\n","                         2:\"conclusao_cursando_em_2016\",\n","                         3:\"conclusao_cursando_apos_2016\",\n","                         4:\"conclusao_n_concluido_cursando\"}\n","  \n","  train_copy, test_copy = replace_dummy_remove_column('TP_ST_CONCLUSAO',dic_TP_ST_CONCLUSAO, train_copy, test_copy)\n","  lista_descarte.append('TP_ST_CONCLUSAO')\n","  '''\n","  TP_ANO_CONCLUIU: Ano de Conclusão do Ensino Médio\n","  > \n","  '''\n","  dic_TP_ANO_CONCLUIU = {0:\"ano_conclusao_n_informado\",\n","                         1:\"ano_conclusao_2015\",\n","                         2:\"ano_conclusao_2014\",\n","                         3:\"ano_conclusao_2013\",\n","                         4:\"ano_conclusao_2012\",\n","                         5:\"ano_conclusao_2011\",\n","                         6:\"ano_conclusao_2010\",\n","                         7:\"ano_conclusao_2009\",\n","                         8:\"ano_conclusao_2008\",\n","                         9:\"ano_conclusao_2007\",\n","                         10:\"ano_conclusao_anterior_2007\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_ANO_CONCLUIU',dic_TP_ANO_CONCLUIU, train_copy, test_copy)\n","  lista_descarte.append('TP_ANO_CONCLUIU')\n","  '''\n","  TP_ESCOLA:Tipo de escola do Ensino Médio\n","  > \n","  Há apenas uma observação do tipo 4, portanto será tratada como tipo 3\n","  '''\n","  dic_TP_ESCOLA = {1:\"tp_escola_n_informada\",\n","                   2:\"tp_escola_publica\",\n","                   3:\"tp_escola_privada\",\n","                   4:\"tp_escola_privada\"} #está repetida para ser tratada como tipo 3\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_ESCOLA',dic_TP_ESCOLA, train_copy, test_copy)\n","  lista_descarte.append('TP_ESCOLA')\n","  '''\n","  TP_ENSINO: Tipo de instituição que concluiu ou concluirá o Ensino Médio \n","  > \n","  '''\n","  train_copy['TP_ENSINO'] = train_copy['TP_ENSINO'].fillna(1)\n","  test_copy['TP_ENSINO'] = test_copy['TP_ENSINO'].fillna(1)\n","  dic_TP_ENSINO = {1:\"tp_ensino_n_informado\",\n","                   2:\"tp_ensino_regular\",\n","                   3:\"tp_ensino_privado\",\n","                   4:\"tp_ensino_exterior\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_ENSINO',dic_TP_ENSINO, train_copy, test_copy)\n","  lista_descarte.append('TP_ENSINO')\n","\n","  '''\n","  IN_TREINEIRO: Indica se o inscrito fez a prova com intuito de apenas treinar seus conhecimentos\n","  > \n","  '''\n","  dic_IN_TREINEIRO = {0:\"in_treineiro_nao\",\n","                      1:\"in_treineiro_sim\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('IN_TREINEIRO',dic_IN_TREINEIRO, train_copy, test_copy)\n","  lista_descarte.append('IN_TREINEIRO')\n","\n","  '''\n","  TP_DEPENDENCIA_ADM_ESC: Dependência administrativa (Escola)\n","  >\n","  '''\n","  dic_TP_DEPENDENCIA_ADM_ESC = {0:\"tp_escola_n_informada\",\n","                                1:\"tp_escola_federal\",\n","                                2:\"tp_escola_estadual\",\n","                                3:\"tp_escola_municipal\",\n","                                4:\"tp_escola_privada\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_DEPENDENCIA_ADM_ESC',dic_TP_DEPENDENCIA_ADM_ESC, train_copy, test_copy)  \n","  lista_descarte.append('TP_DEPENDENCIA_ADM_ESC')\n","  \n","  '''\n","  IN_BAIXA_VISAO: Indicador de baixa visão5\n","  > Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","  '''\n","  dic_IN_BAIXA_VISAO = {0:\"in_baix_visao_nao\",\n","                      1:\"in_baix_visa_sim\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('IN_BAIXA_VISAO',dic_IN_BAIXA_VISAO, train_copy, test_copy)\n","  lista_descarte.append('IN_BAIXA_VISAO')\n","\n","\n","  '''\n","  IN_CEGUEIRA: Indicador de cegueira\n","  > Não há pessoas cegas nas amostras, colunas serão descartadas\n","  '''\n","  lista_descarte.append('IN_CEGUEIRA')\n","  \n","  '''\n","  IN_SURDEZ: Indicador de surdez\n","  > Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","  '''\n","\n","  dic_IN_SURDEZ = {0:\"in_surdez_nao\",\n","                      1:\"in_surdez_sim\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('IN_SURDEZ',dic_IN_SURDEZ, train_copy, test_copy)\n","  lista_descarte.append('IN_SURDEZ')\n","\n","  '''\n","  IN_DISLEXIA: Indicador de dislexia\n","  > Não há dislexicos nas amostras de testes (valor = 1) e apenas 1 na amostra de treino, portanto a coluna e a amostra serão descartados\n","  '''\n","  train_copy = train_copy.drop(train_copy.index[train_copy['IN_DISLEXIA'] == 1].tolist(),axis = 0)\n","  \n","  lista_descarte.append('IN_DISLEXIA')\n","  \n","  '''\n","  IN_DISCALCULIA: Indicador de discalculia\n","  > Só há uma amostra com discauculia na amostra de treino e nenhuma na amostra de testes, portanto a coluna e a\n","  única amostra serão descartadas\n","  '''\n","  train_copy = train_copy.drop(train_copy.index[train_copy['IN_DISCALCULIA'] == 1].tolist(),axis = 0)\n","  \n","  lista_descarte.append('IN_DISCALCULIA')\n","\n","  '''\n","  IN_SABATISTA: Indicador de solicitação de prova aplicada em horário diferenciado para os guardadores dos sábados5\n","  > \n","  '''\n","  dic_IN_SABATISTA = {0:\"in_sabatista_nao\",\n","                      1:\"in_sabatista_sim\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('IN_SABATISTA',dic_IN_SABATISTA, train_copy, test_copy)\n","  lista_descarte.append('IN_SABATISTA')\n","  '''\n","  IN_GESTANTE: Indicador de gestante\n","  > \n","  '''\n","  dic_IN_GESTANTE = {0:\"in_gestante_nao\",\n","                     1:\"in_gestante_sim\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('IN_GESTANTE',dic_IN_GESTANTE, train_copy, test_copy)\n","  lista_descarte.append('IN_GESTANTE')\n","  '''\n","  IN_IDOSO: Indicador de inscrito idoso\n","  > Coluna será emovida por não haver observações com idosos nas duas bases\n","  '''\n","  lista_descarte.append('IN_IDOSO')\n","\n","  '''\n","  As colunas :  \n","  TP_PRESENCA_CN: Presença na prova objetiva de Ciências da Natureza;\n","  TP_PRESENCA_CH: Presença na prova objetiva de Ciências Humanas.\n","\n","  São iguais e serão unidas representas pela nova coluna TP_PRESENCA_DIA_1\n","  > \n","  '''\n","  train_copy['TP_PRESENCA_DIA_1'] = train_copy['TP_PRESENCA_CN'] \n","  test_copy['TP_PRESENCA_DIA_1'] = test_copy['TP_PRESENCA_CN'] \n","\n","  dic_TP_PRESENCA_DIA_1 = {0:\"tp_dia_1_faltou\",\n","                        1:\"tp_dia_1_presente\",\n","                        2:\"tp_dia_1_eliminado\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_PRESENCA_DIA_1',dic_TP_PRESENCA_DIA_1, train_copy, test_copy)  \n","  lista_descarte.append('TP_PRESENCA_DIA_1')\n","  lista_descarte.append('TP_PRESENCA_CN')\n","  lista_descarte.append('TP_PRESENCA_CH')\n","  '''\n","  TP_PRESENCA_LC: Presença na prova objetiva de Linguagens e Códigos\n","  > será eliminada, pois só serão consideradas observações com nota maior que 0\n","  '''\n","  lista_descarte.append('TP_PRESENCA_LC')\n","  \n","  '''\n","  CO_PROVA_CN: Código do tipo de prova de Ciências da Natureza\n","  > não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","  '''\n","  \n","  def dicionario_codigo_prova(codigo):\n","    append_str = codigo+'_'\n","\n","    string = np.fromstring(np.arange(train[codigo].unique().shape[0]).tostring(),dtype=int)\n","\n","    # Append suffix / prefix to strings in list \n","    pre_res = [append_str.lower() + str(sub) for sub in string] \n","\n","    return {k: v for k, v in zip(train[codigo].unique(),pre_res)}\n","    \n","  #train_copy, test_copy = replace_dummy_remove_column('CO_PROVA_CN',dicionario_codigo_prova('CO_PROVA_CN'), train_copy, test_copy) \n","  \n","  lista_descarte.append('CO_PROVA_CN')\n","  \n","  '''\n","  CO_PROVA_CH: Código do tipo de prova de Ciências Humanas\n","  > não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","  '''\n","  #train_copy, test_copy = replace_dummy_remove_column('CO_PROVA_CH',dicionario_codigo_prova('CO_PROVA_CH'), train_copy, test_copy)\n","  lista_descarte.append('CO_PROVA_CH')\n","  \n","  '''\n","  CO_PROVA_LC: Código do tipo de prova de Linguagens e Códigos\n","  > não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","  '''\n","  #train_copy, test_copy = replace_dummy_remove_column('CO_PROVA_LC',dicionario_codigo_prova('CO_PROVA_LC'), train_copy, test_copy)\n","  lista_descarte.append('CO_PROVA_LC')\n","  \n","  '''\n","  CO_PROVA_MT: Código do tipo de prova de Matemática\n","  > não é necessário alterar a coluna, serão construídas 9 variáveis dummy\n","  '''\n","  #train_copy, test_copy = replace_dummy_remove_column('CO_PROVA_MT',dicionario_codigo_prova('CO_PROVA_MT'), train_copy, test_copy)\n","  lista_descarte.append('CO_PROVA_MT')\n","  \n","  '''\n","  NU_NOTA_CN: Nota da prova de Ciências da Natureza\n","  '''\n","  train_copy['NU_NOTA_CN'] = train_copy['NU_NOTA_CN'].fillna(0)\n","  test_copy['NU_NOTA_CN'] = test_copy['NU_NOTA_CN'].fillna(0)\n","  lista_descarte.append('NU_NOTA_CN')\n","  '''\n","  NU_NOTA_CH: Nota da prova de Ciências Humanas\n","  '''\n","  train_copy['NU_NOTA_CH'] = train_copy['NU_NOTA_CH'].fillna(0)#.astype(float)\n","  test_copy['NU_NOTA_CH'] = test_copy['NU_NOTA_CH'].fillna(0)#.astype(float)\n","  lista_descarte.append('NU_NOTA_CH')\n","  '''\n","  NU_NOTA_LC: Nota da prova de Linguagens e Códigos\n","  '''\n","  train_copy['NU_NOTA_LC'] = train_copy['NU_NOTA_LC'].fillna(0)\n","  test_copy['NU_NOTA_LC'] = test_copy['NU_NOTA_LC'].fillna(0)\n","  lista_descarte.append('NU_NOTA_LC')\n","\n","  '''\n","  NU_NOTA_MT: Nota da prova de Matemática\n","  '''\n","  train_copy['NU_NOTA_MT'] = train_copy['NU_NOTA_MT'].fillna(0)\n","  \n","  '''\n","  TP_LINGUA: Língua Estrangeira \n","  > Não é necessário modificar a coluna. Nulos serão convertidos em 0.\n","  '''\n","  dic_TP_LINGUA = {0:\"tp_lingua_ing\",\n","                   1:\"tp_lingua_esp\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('TP_LINGUA',dic_TP_LINGUA, train_copy, test_copy)\n","  lista_descarte.append('TP_LINGUA')\n","  '''\n","  TP_STATUS_REDACAO: Situação da redação do participante\n","  > os valores nulos(NA) serão considerados anulados\n","  '''\n","  train_copy['TP_STATUS_REDACAO'] = train_copy['TP_STATUS_REDACAO'].fillna(2)\n","  test_copy['TP_STATUS_REDACAO'] = test_copy['TP_STATUS_REDACAO'].fillna(2)\n","\n","  dic_TP_STATUS_REDACAO = {0:\"tp_red_anulada\",\n","                           1:\"tp_red_sem_problemas\",\n","                           2:\"tp_red_anulaad\",\n","                           3:\"tp_red_copia_txt_motivador\",\n","                           4:\"tp_red_em_branco\",\n","                           5:\"tp_red_fere_dir_hum\",\n","                           6:\"tp_red_fuga\",\n","                           7:\"tp_red_n_atend_tipo\",\n","                           8:\"tp_red_txt_insu\",\n","                           9:\"tp_red_parte_desconec\"}\n","\n","  #train_copy, test_copy = replace_dummy_remove_column('TP_STATUS_REDACAO', dic_TP_STATUS_REDACAO, train_copy, test_copy)\n","  lista_descarte.append('TP_STATUS_REDACAO')\n","\n","  '''\n","  NU_NOTA_COMP1: Nota da competência 1 - Demonstrar domínio da modalidade escrita formal da Língua Portuguesa.\n","  > variável será descartada\n","  '''\n","  lista_descarte.append('NU_NOTA_COMP1')\n","  '''\n","  NU_NOTA_COMP2: Nota da competência 2 - Compreender a proposta de redação e aplicar conceitos das várias áreas de conhecimento para desenvolver o tema, dentro dos limites estruturais do texto dissertativo-argumentativo em prosa.\n","  > variável será descartada \n","  '''\n","  lista_descarte.append('NU_NOTA_COMP2')\n","\n","  '''\n","  NU_NOTA_COMP3: Nota da competência 3 - Selecionar, relacionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista.\n","  > variável será descartada\n","  '''\n","  lista_descarte.append('NU_NOTA_COMP3')\n","  '''\n","  NU_NOTA_COMP4: Nota da competência 3 - Selecionar, relacionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista.\n","  > variável será descartada\n","  '''\n","  lista_descarte.append('NU_NOTA_COMP4')\n","  '''\n","  NU_NOTA_COMP5: Nota da competência 5 - Elaborar proposta de intervenção para o problema abordado, respeitando os direitos humanos.\n","  > variável será descartada\n","  '''\n","  lista_descarte.append('NU_NOTA_COMP5')\n","  '''\n","  NU_NOTA_REDACAO: Nota da prova de redação\n","  >\n","  '''\n","  train_copy['NU_NOTA_REDACAO'] = train_copy['NU_NOTA_REDACAO'].fillna(0)\n","  test_copy['NU_NOTA_REDACAO'] = test_copy['NU_NOTA_REDACAO'].fillna(0)\n","  lista_descarte.append('NU_NOTA_REDACAO')\n","  '''\n","  Q001: Até que série seu pai, ou o homem responsável por você, estudou?\n","  >\n","  '''\n","  dic_q001 = {'A':\"Q001_A\",\n","              'B':\"Q001_B\",\n","              'C':\"Q001_C\",\n","              'D':\"Q001_D\",\n","              'E':\"Q001_E\",\n","              'F':\"Q001_F\",\n","              'G':\"Q001_G\",\n","              'H':\"Q001_H\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('Q001',dic_q001, train_copy, test_copy)\n","  lista_descarte.append('Q001')\n","  '''\n","  Q002: Até que série sua mãe, ou a mulher responsável por você, estudou?\n","  > \n","  '''\n","  dic_q002 = {'A':\"Q002_A\",\n","              'B':\"Q002_B\",\n","              'C':\"Q002_C\",\n","              'D':\"Q002_D\",\n","              'E':\"Q002_E\",\n","              'F':\"Q002_F\",\n","              'G':\"Q002_G\",\n","              'H':\"Q002_H\"}\n","\n","\n","  train_copy, test_copy = replace_dummy_remove_column('Q002',dic_q002, train_copy, test_copy)\n","  lista_descarte.append('Q002')\n","  '''\n","  Q006: Qual é a renda mensal de sua família? (Some a sua renda com a dos seus familiares.) \n","  > \n","  '''\n","  dic_q006 = {'A':\"Q006_A\",\n","              'B':\"Q006_B\",\n","              'C':\"Q006_C\",\n","              'D':\"Q006_D\",\n","              'E':\"Q006_E\",\n","              'F':\"Q006_F\",\n","              'G':\"Q006_G\",\n","              'H':\"Q006_H\",\n","              'I':\"Q006_I\",\n","              'J':\"Q006_J\",\n","              'K':\"Q006_K\",\n","              'L':\"Q006_L\",\n","              'M':\"Q006_M\",\n","              'N':\"Q006_N\",\n","              'O':\"Q006_O\",\n","              'P':\"Q006_P\",\n","              'Q':\"Q006_Q\"}\n","\n","  train_copy, test_copy= replace_dummy_remove_column('Q006',dic_q006, train_copy, test_copy) \n","  lista_descarte.append('Q006')           \n","  '''\n","  Q024:Na sua residência tem computador?\n","  > \n","  '''\n","  dic_q024 = {'A':\"Q024_A\",\n","              'B':\"Q024_B\",\n","              'C':\"Q024_C\",\n","              'D':\"Q024_D\",\n","              'E':\"Q024_E\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('Q024',dic_q024, train_copy, test_copy)  \n","  lista_descarte.append('Q024')                        \n","\n","  '''\n","  Q025: Na sua residência tem acesso à Internet?\n","  > \n","  '''\n","  dic_q025 = {'A':\"Q025_A\",\n","              'B':\"Q025_B\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('Q025',dic_q025, train_copy, test_copy)\n","  lista_descarte.append('Q025')\n","\n","  '''\n","  Q026: Você exerce ou já exerceu atividade remunerada?\n","  > \n","  '''\n","  dic_q026 = {'A':\"Q026_A\",\n","              'B':\"Q026_B\",\n","              'C':\"Q026_C\"}\n","  train_copy, test_copy = replace_dummy_remove_column('Q026',dic_q026, train_copy, test_copy)  \n","  lista_descarte.append('Q026')\n","\n","  '''\n","  Q027: Com que idade você começou a exercer uma atividade remunerada?\n","  >\n","  '''\n","  train_copy['Q027'] = train_copy['Q027'].fillna('N')\n","  test_copy['Q027'] = test_copy['Q027'].fillna('N')\n","  dic_q027 = {'A':\"Q027_A\",\n","              'B':\"Q027_B\",\n","              'C':\"Q027_C\",\n","              'D':\"Q027_D\",\n","              'E':\"Q027_E\",\n","              'F':\"Q027_F\",\n","              'G':\"Q027_G\",\n","              'H':\"Q027_H\",\n","              'I':\"Q027_I\",\n","              'J':\"Q027_J\",\n","              'K':\"Q027_K\",\n","              'L':\"Q027_L\",\n","              'M':\"Q027_M\",\n","              'N':\"Q027_N\"}#não está no questionário mas representa os nulos, que não trabalham\n","  train_copy, test_copy = replace_dummy_remove_column('Q027',dic_q027, train_copy, test_copy)    \n","  lista_descarte.append('Q027')\n","\n","  '''\n","  Q047: Em que tipo de escola você frequentou o Ensino Médio?\n","  >\n","  '''\n","  dic_q047 = {'A':\"Q047_A\",  \n","              'B':\"Q047_B\",\n","              'C':\"Q047_C\",\n","              'D':\"Q047_D\",\n","              'E':\"Q047_E\"}\n","\n","  train_copy, test_copy = replace_dummy_remove_column('Q047',dic_q047, train_copy, test_copy)\n","  lista_descarte.append('Q047')    \n","\n","  #remoção das colunas listadas na base de testes\n","  test_copy = test_copy.drop(lista_descarte,axis=1)\n","\n","  return train_copy, test_copy\n","\n","\n","\n"],"execution_count":0,"outputs":[]},{"cell_type":"markdown","metadata":{"colab_type":"text","id":"2ycXao7pHNrL"},"source":["Descarte das colunas que não estão presentes na base de testes."]},{"cell_type":"code","metadata":{"colab_type":"code","id":"RqRuhftrVJUg","colab":{}},"source":["\n","def remocao_colunas_extras(train,test):\n","  train_copy = train.copy()\n","  test_copy = test.copy()\n","\n","  #lista arbitraria para remocao \n","  #lista_remocao1 = ['CO_UF_RESIDENCIA',\n","  #                 'NU_NOTA_COMP1', \n","  #                 'NU_NOTA_COMP2', \n","   #                'NU_NOTA_COMP3',\n","   #                'NU_NOTA_COMP4',\n","   #                'NU_NOTA_COMP5']\n","  #test_copy = test_copy.drop(lista_remocao1,axis=1)\n","  #lista para remoção das colunas da base de treino que não estão na base de test\n","  lista_remocao2 = list(set(train_copy.columns) - set(test_copy.columns))\n","  lista_remocao2.remove('NU_NOTA_MT')\n","  train_copy = train_copy.drop(lista_remocao2,axis=1)\n","   \n","  return train_copy, test_copy\n","\n","\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"colab_type":"code","id":"a4e2yHWC9W7o","colab":{}},"source":["train, test = leitura_treino_teste()\n","train, test = preprocessamento(train, test)\n","train, test = remocao_colunas_extras(train, test)\n","\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"colab_type":"code","executionInfo":{"status":"error","timestamp":1585828253497,"user_tz":180,"elapsed":1539,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"id":"jsLAoAaEGp8I","outputId":"084d1923-230e-4b71-e02a-07ac3dd8be06","colab":{"base_uri":"https://localhost:8080/","height":232}},"source":["pd.options.display.max_columns = None\n","#print(train.head())\n","from matplotlib import pyplot\n","import numpy as np\n","\n","fig = pyplot.figure()\n","ax = fig.add_subplot(111)\n","cax = ax.matshow(X.corr(), vmin=-1, vmax=1, interpolation='none')\n","fig.colorbar(cax)\n","ticks = np.arange(0,14,1)\n","ax.set_xticks(ticks)\n","ax.set_yticks(ticks)\n","ax.set_xticklabels(names)\n","ax.set_yticklabels(names)\n","pyplot.show()"],"execution_count":0,"outputs":[{"output_type":"error","ename":"NameError","evalue":"ignored","traceback":["\u001b[0;31m---------------------------------------------------------------------------\u001b[0m","\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)","\u001b[0;32m<ipython-input-1-4f8c0edfc3de>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mpd\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0moptions\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdisplay\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mmax_columns\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      2\u001b[0m \u001b[0;31m#print(train.head())\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0mmatplotlib\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mpyplot\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mnumpy\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mnp\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n","\u001b[0;31mNameError\u001b[0m: name 'pd' is not defined"]}]},{"cell_type":"code","metadata":{"colab_type":"code","id":"B5lEM5UrzTTh","outputId":"5f420f8f-014c-4a18-d3ea-630ea5962e76","executionInfo":{"status":"ok","timestamp":1586030598749,"user_tz":180,"elapsed":996,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":238}},"source":["import numpy as np\n","from sklearn.linear_model import LinearRegression\n","from sklearn.model_selection import train_test_split\n","from sklearn.preprocessing import MinMaxScaler\n","from sklearn import preprocessing\n","\n","lrModel = LinearRegression()\n","#Remocao das notas zero dos dados de treino\n","X = train.drop(train.index[train['NU_NOTA_MT'] < 1].tolist(),axis = 0)\n","\n","scaler = MinMaxScaler(feature_range=(0, 1))\n","\n","#lista_features_num = [ 'NU_IDADE' , 'NU_NOTA_CN' , 'NU_NOTA_CH', 'NU_NOTA_LC' , 'NU_NOTA_REDACAO' ]\n","\n","#X[lista_features_num] = scaler.fit_transform(X[lista_features_num])\n","\n","y = preprocessing.MinMaxScaler X['NU_NOTA_MT']\n","\n","X = X.drop(['NU_NOTA_MT'],axis=1)\n","\n","X = preprocessing.scale(X)\n","\n","X = pd.DataFrame(X)\n","\n","X_train, X_validation, y_train, y_validation = train_test_split(X, y, test_size=0.3, random_state=7)\n","\n","print(X.head())\n","print(y.shape)\n","print(X_validation.shape)\n","print(y_validation.shape)\n","print(X_train.shape)\n","print(y_train.shape)\n","\n"],"execution_count":0,"outputs":[{"output_type":"stream","text":["        0         1        2    ...       139       140       141\n","0  0.537346 -0.069031 -0.12992  ... -0.111372 -0.336235 -0.166497\n","1 -0.563656 -0.069031 -0.12992  ... -0.111372 -0.336235 -0.166497\n","2 -0.406370 -0.069031 -0.12992  ... -0.111372 -0.336235 -0.166497\n","3 -0.406370 -0.069031 -0.12992  ... -0.111372 -0.336235 -0.166497\n","4 -0.406370 -0.069031 -0.12992  ... -0.111372  2.974110 -0.166497\n","\n","[5 rows x 142 columns]\n","(10121,)\n","(3037, 142)\n","(3037,)\n","(7084, 142)\n","(7084,)\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"vx8xQ7_0ycfS","colab_type":"code","colab":{}},"source":["# Import necessary modules\n","from sklearn.linear_model import ElasticNet\n","from sklearn.metrics import mean_squared_error\n","from sklearn.model_selection import GridSearchCV, train_test_split\n","\n","\n","# Create train and test sets\n","#X_train, X_test, y_train, y_test = train_test_split(X,y,test_size= 0.4, random_state= 42)\n","\n","# Create the hyperparameter grid\n","l1_space = np.linspace(0, 100, 3000)\n","param_grid = {'l1_ratio': l1_space}\n","\n","# Instantiate the ElasticNet regressor: elastic_net\n","elastic_net = ElasticNet()\n","\n","# Setup the GridSearchCV object: gm_cv\n","gm_cv = GridSearchCV(elastic_net, param_grid, cv= 5)\n","\n","# Fit it to the training data\n","gm_cv.fit(X_train,y_train)\n","\n","# Predict on the test set and compute metrics\n","y_pred = gm_cv.predict(X_validation)\n","r2 = gm_cv.score(X_validation, y_validation)\n","mse = mean_squared_error(y_validation, y_pred)\n","print(\"Tuned ElasticNet l1 ratio: {}\".format(gm_cv.best_params_))\n","print(\"Tuned ElasticNet R squared: {}\".format(r2))\n","print(\"Tuned ElasticNet MSE: {}\".format(mse))"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"LJYFMT61ZZY6","colab_type":"code","outputId":"910c6686-757d-4779-bc2d-61d7ea30ab6d","executionInfo":{"status":"ok","timestamp":1586024084522,"user_tz":180,"elapsed":1519,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":51}},"source":["# Import necessary modules\n","from sklearn.model_selection import GridSearchCV\n","from sklearn.linear_model import LinearRegression\n","\n","# Setup the hyperparameter grid\n","c_space = np.logspace(-5, 8, 15)\n","param_grid = {}\n","\n","# Instantiate a logistic regression classifier: logreg\n","linreg = LinearRegression()\n","\n","# Instantiate the GridSearchCV object: logreg_cv\n","logreg_cv = GridSearchCV(linreg, param_grid, cv=5)\n","\n","# Fit it to the data\n","\n","logreg_cv.fit(X,y)\n","\n","# Print the tuned parameters and score\n","print(\"Tuned Logistic Regression Parameters: {}\".format(logreg_cv.best_params_)) \n","print(\"Best score is {}\".format(logreg_cv.best_score_))\n"],"execution_count":0,"outputs":[{"output_type":"stream","text":["Tuned Logistic Regression Parameters: {}\n","Best score is -2.172902996425546e+22\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"ip6L6JODSUVb","colab_type":"code","outputId":"29cdd630-e43f-402c-cc3f-01eacc2295bf","executionInfo":{"status":"ok","timestamp":1585704409195,"user_tz":180,"elapsed":1195,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":34}},"source":["X.shape[1]"],"execution_count":0,"outputs":[{"output_type":"execute_result","data":{"text/plain":["194"]},"metadata":{"tags":[]},"execution_count":135}]},{"cell_type":"code","metadata":{"id":"PC9uI7O_LqvH","colab_type":"code","colab":{}},"source":["from sklearn.feature_selection import RFE\n","\n","for n in range(1,X.shape[1]):\n","\n","  rfe = RFE(lrModel, n)\n","  fit = rfe.fit(X, y)\n","\n","  colunas_escolhidas = fit.support_\n","  selecao = []\n","\n","  for col_esc, col_X in zip(colunas_escolhidas, X.columns):\n","    if col_esc == True:\n","      selecao.append(col_X)\n","  \n","  lrModel.fit(X[selecao],y)\n","  print(\"Para n = \",n,\" o score é: \", lrModel.score(X[selecao],y))\n","\n","  \n","  \n","\n","#\n","#lrModel.score(X,y)\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"IFNDbjQVIYVV","colab_type":"code","colab":{}},"source":["from sklearn.decomposition import PCA\n","\n","pca = PCA() # create a PCA object\n","pca.fit(X) # do the math\n","pca_data = pca.transform(X)\n","## first, get the loading scores\n","loading_scores = pd.Series(pca.components_[0])\n","## now sort the loading scores based on their magnitude\n","sorted_loading_scores = loading_scores.abs().sort_values(ascending=False)\n","\n","score_max = 0\n","i_max = 0\n","j_max = 0\n","#for i,j in zip(range(1,154),range(1,196)):\n","for i in range(1,150):  \n","  # get the names of the top 10 genes\n","  top_genes = sorted_loading_scores[0:i].index.values\n"," \n","  lrModel.fit(X.iloc[:,top_genes],y)\n","\n","\n","  score = lrModel.score(X.iloc[:,top_genes],y)\n","  if (score > score_max) : \n","    score_max = score                       \n","    i_max = i\n","    \n","\n","  print(score)\n","\n","print(\"score max: \",score_max)\n","print(\"i max: \",i)\n","print(\"j max: \",j)\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"7ZQQ7xfRQdJt","colab_type":"code","colab":{}},"source":["import statsmodels.api as sm\n","from sklearn.decomposition import PCA\n","\n","lrModel.fit(pca.transform(X),y)\n","print(\"Para n = \",n,\" o score é: \", lrModel.score(pca.transform(X),y))\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"HKm9OVfKsufq","colab_type":"code","colab":{}},"source":["\n"," \n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"r4wqOHOFtPYD","colab_type":"code","outputId":"4a07ca5b-86d8-4850-c1ef-bbc936d80cd6","executionInfo":{"status":"error","timestamp":1585855795348,"user_tz":180,"elapsed":1449,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":232}},"source":["import matplotlib.pyplot as plt \n","\n","per_var = np.round(pca.explained_variance_ratio_* 100, decimals=1)\n","labels = ['PC' + str(x) for x in range(1, len(per_var)+1)]\n"," \n","plt.bar(x=range(1,len(per_var)+1), height=per_var, tick_label=labels)\n","plt.ylabel('Percentage of Explained Variance')\n","plt.xlabel('Principal Component')\n","plt.title('Scree Plot')\n","plt.show()"],"execution_count":0,"outputs":[{"output_type":"error","ename":"NameError","evalue":"ignored","traceback":["\u001b[0;31m---------------------------------------------------------------------------\u001b[0m","\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)","\u001b[0;32m<ipython-input-8-ba7a8594b2f1>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mmatplotlib\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpyplot\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mplt\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      2\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 3\u001b[0;31m \u001b[0mper_var\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mround\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mpca\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mexplained_variance_ratio_\u001b[0m\u001b[0;34m*\u001b[0m \u001b[0;36m100\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdecimals\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      4\u001b[0m \u001b[0mlabels\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m[\u001b[0m\u001b[0;34m'PC'\u001b[0m \u001b[0;34m+\u001b[0m \u001b[0mstr\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mx\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mfor\u001b[0m \u001b[0mx\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mrange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mlen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mper_var\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m+\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n","\u001b[0;31mNameError\u001b[0m: name 'pca' is not defined"]}]},{"cell_type":"code","metadata":{"id":"aQOpah9qtmIk","colab_type":"code","outputId":"c935255a-05a5-4d4f-c2b3-e0d34b2c7c9e","executionInfo":{"status":"ok","timestamp":1585873035027,"user_tz":180,"elapsed":2728,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":322}},"source":["import numpy as np; np.random.seed(0)\n","import seaborn as sns; sns.set()\n","uniform_data = np.random.rand(10, 12)\n","ax = sns.heatmap(uniform_data, vmin=0, vmax=1)\n","ax = sns.heatmap(normal_data, center=0)\n","ax = sns.heatmap(uniform_data)"],"execution_count":0,"outputs":[{"output_type":"stream","text":["/usr/local/lib/python3.6/dist-packages/statsmodels/tools/_testing.py:19: FutureWarning: pandas.util.testing is deprecated. Use the functions in the public API at pandas.testing instead.\n","  import pandas.util.testing as tm\n"],"name":"stderr"},{"output_type":"display_data","data":{"image/png":"iVBORw0KGgoAAAANSUhEUgAAAWQAAAD7CAYAAABdXO4CAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0\ndHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAdpklEQVR4nO3dfVhUdd4/8PfMKAnmgKDAKLn4sOpY\nq97qpXebpeEDXjYw2HZpoq57WVjrQqWZKCoPiint3qktPqS7uvijvPdnlinrz3QXW4M29WeZ2qAV\nopKNIE+O4AMwc+4/vJuN0GGGOd/pzOn96jrXBcP45hN1Pn75nu85X40kSRKIiOhHp/2xCyAiojvY\nkImIFIINmYhIIdiQiYgUgg2ZiEgh2JCJiBSigy+/WelDsUJyI816IbkNn1QKybVZOwnJPVUTJiQX\nAGIetwrJ/ehwpJDcCe/FC8kFAG3UICG5eQ//XkjuzCwxP2MAuLDGIizb+NV+r/58U9V5t9/bsVsf\nr76XXHzakImIfMZh/7Er8BgbMhGpk+T4sSvwGBsyEamTgw2ZiEgRJI6QiYgUwt78Y1fgMTZkIlIn\nXtQjIlIItU5Z1NbW4sqVKwCAyMhIdO3aVWhRREReU9tFvUuXLmH58uWwWCwIDw8HAFRWVmLQoEHI\nyspCdHS0L2okIvKY6i7qLVq0CImJidi+fTu02jt3WTscDuzbtw+pqan461//6pMiiYg85ocjZJfP\nsqirq0N8fLyzGQOAVquF2WzGtWvXhBdHRNRu9ib3D4Vw2ZBDQkJQUFCA7+/yJEkS9u7dC71ezPMj\niIhkITncPxTC5ZTFmjVrkJGRgRUrViAiIgIAUFFRgYEDB2LNmjU+KZCIqF38cMrCZUOOjo5GXl4e\nampqYLXeedqXwWBAaGioT4ojImo3BY183eXWsrfQ0FA2YSLyL2obIRMR+SvJoZyLde5iQyYideII\nmYhIIdQ6h0xE5Hf4cCEiIoXgCNm1jp3EPJ+0w/S5QnL/Y+NLQnIDtGJ+7NaGEiG5AFA7dZ6Q3HFj\nxGyeKt1qEJILAJoAMZvUzlwVJST340VlQnIB4OGsnwvL9hrnkImIFIIPqCciUgiOkImIlEGSeFGP\niEgZOEImIlIIrrIgIlIIjpCJiBSCqyyIiBSCUxZERArBKQsiIoXww4bsck89V+Li4uSsg4hIXmrb\nU+/rr7++59dqa2tlL4aISDZqu6hnMpnQs2fPFrtOf6eurk5YUUREXvPDKQuXDblnz554++23nTtO\nf9+YMWOEFUVE5DUFTUW4y+Uc8sSJE3H58uW7fm3ChAlCCiIikoXD4f6hEC5HyKmpqff82rJly2Qv\nhohINgpqtO7isjciUqe7XPuSQ1lZGRYvXoy6ujqEhIQgJycH0dHRLd5TXV2NJUuWwGq1orm5GaNG\njcKyZcvQoYPrltvuZW9ERIrW3Oz+4YGMjAwkJibigw8+QGJiItLT01u9Z/Pmzejbty/27duHvXv3\n4osvvsDBgwfbzGZDJiJ18mAdss1mwzfffNPqsNlsLSKrq6thsVhgMpkA3FmJZrFYUFNT0+J9Go0G\nDQ0NcDgcaGxsRFNT010XR/wQpyyISJ08mEPOy8tDbm5uq9eTk5ORkpLi/NxqtSIiIgI6nQ4AoNPp\nEB4eDqvVitDQUOf75s2bh5SUFIwePRo3b97EjBkzMHz48DbrYEMmInXyYA559uzZmDJlSqvX9Xp9\nu771gQMHMGDAAOTl5aGhoQFJSUk4cOAAJk2a5PLP+bQhTy4XsxNw0cpXheT2DOwmJPejf64WkvtV\nrJifAwDsnXdaSG7hfY1CctemirvC/uHTh4TkDnigSkju5GtfCskFgG/39RGWHfS8lwEejJD1er1b\nzddgMKCiogJ2ux06nQ52ux2VlZUwGAwt3pefn49XX30VWq0WXbp0QUxMDI4ePdpmQ+YcMhGpk4B1\nyGFhYTAajSgoKAAAFBQUwGg0tpiuAICoqCgcOXIEANDY2Ih//etf+PnPf95mPhsyEamSZLe7fXgi\nMzMT+fn5iI2NRX5+PrKysgAASUlJOH36zm+SaWlpOHHiBOLi4pCQkIDo6GhMnTq1zWzOIROROgm6\nMaRv377YtWtXq9e3bt3q/LhXr17Yvn27x9lsyESkTn74LAs2ZCJSJ4eYO/VEYkMmInXisyyIiBTC\nw4t1SsCGTETq5IcjZJfL3mpra7F06VLMmTMHb731Vouvff92QiIixXFI7h8K4bIhZ2RkIDg4GE8/\n/TT+/ve/Izk5Gc3/+2Sk8vJynxRIRNQufrjJqcuGfOHCBSxatAgTJ07Etm3b0L17dzz33HO4ffu2\nr+ojImoftY2Qm5qanB9rNBpkZGSgf//+mDt3LpsyESma5HC4fSiFy4b8wAMP4Pjx4y1eS01NxZAh\nQ3DhwgWRdRERecdud/9QCJerLF577TVoNJpWry9YsADx8fHCiiIi8pqCpiLc5bIhh4SE3PNr/fr1\nk70YIiLZKGgqwl1ch0xE6qS2ETIRkd9S0HI2d7EhE5E6cYRMRKQMUrNyVk+4iw2ZiNSJI2QiIoXg\nHLJrHw67T0iuvV7MD17U7tCN67OF5P6jObTtN7VTH0nMr3//9ZSYXad7LxazMzQAfDW1l5hgrZjT\ncXLlUCG5ADD+RI2w7M+8DeAImYhIGSQ2ZCIiheBFPSIiheAImYhIIdiQiYiUQZLYkImIlIEjZCIi\nhfgpNORr164hODhYRC1ERLKRmv3vxhCXO4acPXsWTz75JJ566imUlpZi7ty5eOyxxzBmzBiUlJT4\nqkYiIs85PDgUwmVDzs7Oxu9+9zvMnDkTzz77LEwmEz7//HNkZGQgJyfHVzUSEXlMckhuH0rhsiE3\nNDRg3LhxSEhIAADntk0xMTGoq6sTXx0RUXv54a7TLueQv79s5JFHHmnxNYcfbo9CRD8hftiiXDbk\nnj17or6+Hvfffz+ys//9QJwrV64gMDBQeHFERO2lpKkId7lsyBs2bLjr63q9Hhs3bhRSEBGRHKRm\nlTXkewkKCkJQUJDctRARyUdtUxZERP7KD59Pz4ZMRColqCGXlZVh8eLFqKurQ0hICHJychAdHd3q\nffv378emTZsgSRI0Gg22b9+Obt26ucxmQyYiVRI1Qs7IyEBiYiLMZjPef/99pKenY8eOHS3ec/r0\naeTm5iIvLw/du3fH9evXERAQ0Ga2y3XIRET+Smp2/3BXdXU1LBYLTCYTAMBkMsFisaCmpuVWVn/5\ny18wZ84cdO/eHQDQpUsX3Hdf21vYcYRMRKrkyQjZZrPBZrO1el2v10Ov1zs/t1qtiIiIgE6nAwDo\ndDqEh4fDarUiNPTfe1qWlpYiKioKM2bMwI0bNzBhwgT89re/hUajcVmHTxvyupKeQnIj7GIG+gmJ\ny4XkniwPF5LbB3ZMOrNKSPaDxqlicv+vQUhu//vF/L8GANItMVsDzf+oq5DcF2+7bgLe2B4YKSzb\nW5405Ly8POTm5rZ6PTk5GSkpKR5/b7vdjnPnzmH79u1obGzEs88+ix49ejjver4XjpBVRFQzJvJL\nkvt/Ec2ePRtTpkxp9fr3R8cAYDAYUFFRAbvdDp1OB7vdjsrKShgMLQcWPXr0wKRJkxAQEICAgACM\nGzcOp06darMhcw6ZiFRJcrh/6PV6REVFtTp+2JDDwsJgNBpRUFAAACgoKIDRaGwxXQHcmVsuKiqC\nJEloamrCJ598goEDB7ZZMxsyEamS5NC4fXgiMzMT+fn5iI2NRX5+PrKysgAASUlJOH36NADgiSee\nQFhYGCZPnoyEhAT069cPTz31VJvZnLIgIlVy2MXMnfft2xe7du1q9frWrVudH2u1WixZsgRLlizx\nKJsNmYhUiXfqEREphKdTEUrAhkxEqiT538Pe2JCJSJ38cYTs8SqLjz/+WEQdRESyctg1bh9K4XKE\n/PXXX7d6bcmSJdi2bRskSUK/fv2EFUZE5A1/HCG7bMgmkwk9e/ZssbdeVVUVkpKSoNFo8I9//EN4\ngURE7SF5cKeeUrhsyMnJyfj888+RlZWFHj16ALiz43RhYaFPiiMiai/VLXtLTk6GxWLBggULYDab\nMX369DafVkREpAQOPxwht3lRb9CgQdixYwcuX76M3/zmN2hqavJFXUREXpEkjduHUri17C0gIAAL\nFy7EyZMncezYMdE1ERF5TUmrJ9zl0TrkoUOHYujQoaJqISKSjepWWRAR+St/nENmQyYiVVLS3LC7\n2JCJSJX4LAsiIoXglAURkUI4eFHPtX82VQjJrWq6LiT314O6CMnN+uYbIbmbhiULyQWAFzq1vR9Y\nezzzh/5Ccgf/7n0huQAQ8NQ0Ibn//H//LST3zdNvCckFAAxNF5ftJY6QiYgUghf1iIgUgiNkIiKF\n8MNFFmzIRKROdofH+2/86NiQiUiV/PDpm2zIRKROEjiHTESkCA4/nERmQyYiVXJwhExEpAz+OGXh\n8jJkcXGx8+Pr16/jlVdewfjx45GSkoKqqirhxRERtZcdGrcPpXDZkP/whz84P167di06d+6MjRs3\nok+fPsjOzhZeHBFRezk8OJTC5ZSF9L3n1504cQLvvPMOOnbsiP79+yMuLk54cURE7aWkRusulw25\nsbERpaWlkCQJGo0GHTt2dH5Nq/W/RddE9NPhj3PILhvyrVu3MHfuXOdIuaKiAhEREaivr2dDJiJF\n88Onb7puyIWFhXd9XafT4Y033hBSEBGRHH4yy94CAwPxwAMPyF0LEZFs7D92Ae3AdchEpEoOjf+N\nkDkRTESqJHlweKKsrAzTpk1DbGwspk2bhgsXLtzzvefPn8eQIUOQk5PjVjYbMhGpkqh1yBkZGUhM\nTMQHH3yAxMREpKfffRsru92OjIwMjB8/3u1sNmQiUiWHxv3DXdXV1bBYLDCZTAAAk8kEi8WCmpqa\nVu/dsmULxo4di+joaLfzOYdMRKrkyS3RNpsNNput1et6vR56vd75udVqRUREBHQ6HYA7K87Cw8Nh\ntVoRGhrqfN/Zs2dRVFSEHTt2YOPGjW7X4dOGXPj/c4Xk1v36eSG5HQZGCcn98p2PhOQ+0n2kkFwA\n2HKrVEjuhUViroXfp+3Y9pvaafWLnwvJfbWjUUjuA8YnheQCwFe/6Scs21uejHzz8vKQm9u6PyUn\nJyMlJcWj79vU1ITly5dj9erVzsbtLo6QiUiVPJkbnj17NqZMmdLq9e+PjgHAYDCgoqICdrsdOp0O\ndrsdlZWVMBgMzvdcvXoVly5dwty5cwHcGX1LkoT6+nqsXLnSZR1syESkSp6snvjh1MS9hIWFwWg0\noqCgAGazGQUFBTAajS2mK3r06IGjR486P//jH/+IGzduIDU1tc18XtQjIlUScVEPADIzM5Gfn4/Y\n2Fjk5+cjKysLAJCUlITTp097VTNHyESkSqKe9ta3b1/s2rWr1etbt2696/s9mYNmQyYiVbL73416\nbMhEpE6qex4yEZG/YkMmIlIIT59RoQQerbJoaGjAF198gfr6elH1EBHJQtQqC5FcNuT09HTnPdon\nTpzAhAkTsGjRIkyYMAFFRUU+KZCIqD1Ut8npyZMnnQue169fj82bN2Pw4MEoKyvDyy+/jNGjR/uk\nSCIiT6nuAfW3b992ftzQ0IDBgwcDAHr37o2mpiaxlREReUFJUxHucjll8fDDD2PNmjW4efMmRo0a\nhf379wMAiouLERIS4pMCiYjawx+nLFw25LS0NDQ3N+Oxxx7DoUOHsGDBAjz00EPYtm0bXn31VV/V\nSETkMVE7hojkcsoiICAAy5Ytw4IFC3Dp0iU4HA4YDAZ07drVV/UREbWLQ1Gt1j1urUMOCgrCwIED\nRddCRCQb1V3UIyLyV0qaG3YXGzIRqZI/rrJgQyYiVVLtHDIRkb/xv3bMhkxEKsU55DZY45KF5K6q\nCheSm1JaLSS3e6CYm2peiagUkgsAr23LFpK76oltQnI/jm97f7T2GltwUUhu6rM9hOQe/T9DhOQC\nwK921wnLPrjOuz9v98MxMkfIRKRKHCETESkEL+oRESmE/7VjNmQiUilOWRARKQQv6hERKQTnkImI\nFML/2jEbMhGplD+OkF0+oH7UqFHIzs5GSUmJr+ohIpKF6nYM6dy5M7RaLebMmYMpU6YgPz8f165d\n81VtRETtJnnwj1K4bMjBwcFIS0vDkSNH8Nxzz+HIkSMYO3Ys5s+fj+LiYl/VSETkMTsktw+lcNmQ\nv9OxY0dMmjQJW7ZswYEDBzBgwACsXLlSdG1ERO2muikLSWr9N0dERASef/55HDhwQFhRRETeckiS\n24dSuFxlsWHDBl/VQUQkK+W0Wfe5bMg9e/b0VR1ERLLyx2VvXIdMRKqkpNUT7mJDJiJVamZDJiJS\nBlEj5LKyMixevBh1dXUICQlBTk4OoqOjW7xnw4YN2L9/P7RaLTp27Ij58+fj0UcfbTObDZmIVEnU\ncraMjAwkJibCbDbj/fffR3p6Onbs2NHiPYMHD8acOXMQGBiIs2fPYubMmSgqKkKnTp1cZru1DpmI\nyN9IkuT24a7q6mpYLBaYTCYAgMlkgsViQU1NTYv3PfroowgMDAQADBgwAJIkoa6u7f0HfTpC7thJ\nzN9ZeVeOCsld9/bzQnIvPi1mOWH0ZxWofXawkOz5T7wpJPf3Sa5HDO3V8de/F5ILAEMOrRCSW3uw\nSkjuol7ibn1ouqkTlu0tT1ZZ2Gw22Gy2Vq/r9Xro9f/eMNdqtSIiIgI63Z1/b51Oh/DwcFitVoSG\nht41e8+ePejVqxciIyPbrINTFioiqhkT+SNPbonOy8tDbm5uq9eTk5ORkpLS7hqOHTuG9evXY9s2\n93ZXZ0MmIlXyZIQ8e/ZsTJkypdXr3x8dA4DBYEBFRQXsdjt0Oh3sdjsqKythMBha/dnPPvsMr7zy\nCjZu3Ig+ffq4VQcbMhGpkidzwz+cmriXsLAwGI1GFBQUwGw2o6CgAEajsdV0xalTpzB//ny88cYb\nePDBB92ugxf1iEiVRD1cKDMzE/n5+YiNjUV+fj6ysrIAAElJSTh9+jQAICsrC7du3UJ6ejrMZjPM\nZjPOnTvXZjZHyESkSqLWIfft2xe7du1q9frWrVudH+/evbtd2WzIRKRKfJYFEZFC2CUlPenYPWzI\nRKRK/vhwIY8u6t28eRNnzpy56wJqIiIl8ccH1LtsyIcOHcKwYcMwadIknDp1CpMnT8aiRYswYcIE\nFBYW+qpGIiKPSR4cStHmjiE7d+6EzWZDUlISNm3ahGHDhqG0tBQvv/wyYmJifFUnEZFHVHlRb8CA\nAQCAzp07Y9iwYQDuLPsgIlIy1TVkjUaD0tJS2Gw23LhxAydPnsTQoUNRVlYGu93uqxqJiDymulUW\nL7zwAqZPnw6tVou1a9di/fr1uHr1Kq5cuYLMzEwflUhE5Dl/XGXhsiE//vjjOHbsmPPzkSNHoqSk\nBJGRkejWrZvw4oiI2suTZ1kohUfrkHU6HR566CFRtRARyUZ1c8hERP5K9SNkIiJ/YRe2q544bMhE\npEpKugPPXWzIRKRKqltlQUTkrzhCbsML5W1vkdIeNss7QnILH35dSO71914Rkms/fFhILgDcDzG7\nC2v79BaS+/Z/itt1etN/JwjJrUl1byNMT4WsekZILgA0v9f6Qe1KwREyEZFCcIRMRKQQqrt1mojI\nX3HKgohIISSOkImIlIG3ThMRKQRvnSYiUgiOkImIFMLuUOkccl1dHaxWK3Q6HXr16oVOnTqJrouI\nyCuqW2Vx+fJlZGRkoKioCBqNBnq9Hrdu3cL06dOxYMECBAQE+KpOIiKP+OMcstbVFxcvXoz4+Hgc\nPXoUaWlpmDFjBgoLC3H9+nWsXr3aVzUSEXnMAcntQylcNuRr164hPj4ewcHBmDVrFo4cOYKwsDCs\nXLkSxcXFvqqRiMhjkiS5fSiFy4bcoUMHXLp0CQBw5swZ5xSFVqtFhw68HkhEymV3ONw+lKLNXaen\nTp2K7t274+rVq1i7di0AoKqqCsOGDfNJgURE7aGkqQh3uWzIY8eOxcGDB3Hx4kX07t0b999/PwCg\nW7duyM7O9kmBRETtoaSpCHe1Oe+g1+vxi1/8whe1EBHJho/fJCJSCNWtQyYi8lccIRMRKYSDj98k\nIlIGVV7UIyLyR/7YkDWSP1ZNRKRCLu/UIyIi32FDJiJSCDZkIiKFYEMmIlIINmQiIoVgQyYiUgg2\nZCIihWBDJiJSCDZkIiKFUFxDLisrw7Rp0xAbG4tp06bhwoULsuTm5OQgJiYGAwYMwJdffilLJgDU\n1tYiKSkJsbGxiIuLQ3JyMmpqamTJnjdvHuLj45GQkIDExESUlJTIkvud3Nxc2X8eMTExmDRpEsxm\nM8xmMz766CNZcm/fvo2MjAxMnDgRcXFxWL58udeZ33zzjbNOs9mMmJgYjBw5UoZq7zh8+DASEhJg\nNpsRHx+PgwcPypL74YcfYsqUKYiLi8PMmTNRXl7erpx7nRNynIP3yhZ1HqqGpDCzZs2S9uzZI0mS\nJO3Zs0eaNWuWLLnHjx+Xvv32W+nxxx+Xzp07J0umJElSbW2t9Mknnzg/X7NmjbRkyRJZsm02m/Pj\nQ4cOSQkJCbLkSpIknTlzRnrmmWdk/3nInfedlStXSqtWrZIcDockSZJ09epV2b9Hdna2lJWVJUuW\nw+GQRowY4fxZlJSUSEOHDpXsdrtXuXV1ddLIkSOl8+fPS5J05xyZM2dOu7LudU7IcQ7eK1vUeagW\nihohV1dXw2KxwGQyAQBMJhMsFossI84RI0bAYDB4nfNDISEhGDVqlPPzoUOH4ttvv5Ulu0uXLs6P\n6+vrodFoZMltbGzEihUrkJmZKUueaA0NDdizZw9efPFF58+gW7dusn6PxsZG7Nu3D7/61a9ky9Rq\ntbh+/ToA4Pr16wgPD4dW690pd/HiRXTr1g29e/cGAIwZMwZFRUXtOkfudk7IdQ7e63wTdR6qhaKe\n9ma1WhEREQGdTgcA0Ol0CA8Ph9VqRWho6I9cXdscDgd27tyJmJgY2TKXLl2K4uJiSJKEP/3pT7Jk\nrl+/HvHx8YiKipIl74cWLlwISZIwfPhwLFiwAHq93qu88vJyhISEIDc3F0ePHkXnzp3x4osvYsSI\nETJVDBQWFiIiIgIPPvigLHkajQbr1q3DvHnzEBQUhIaGBmzZssXr3N69e6OqqgqnTp3C4MGDsW/f\nPgCQ7Rzx93PQ3ylqhOzvVq5ciaCgIMycOVO2zFWrVuHDDz/E/Pnz8dprr3md99lnn+HMmTNITEyU\nobrW3nrrLezduxe7d++GJElYsWKF15l2ux3l5eUYNGgQ3n33XSxcuBApKSmor6+XoeI7du/eLevo\nuLm5GW+++SY2btyIw4cPY9OmTXjppZfQ0NDgVW6XLl2wdu1arF69Gk8++SSqq6uh1+udDZT8m6Ia\nssFgQEVFBex2O4A7J2JlZaVf/IqTk5ODixcvYt26dV7/Wno3CQkJOHr0KGpra73KOX78OEpLSzFu\n3DjExMTgypUreOaZZ1BUVCRLnd/9twoICEBiYiI+/fRTWTI7dOjg/DV6yJAh6Nq1K8rKyrzOBoCK\nigocP34ccXFxsuQBQElJCSorKzF8+HAAwPDhwxEYGIjS0lKvs3/5y19i586dePfddzFz5kzcunUL\nvXr18joX8O9zUA0U1ZDDwsJgNBpRUFAAACgoKIDRaFT8r0qvv/46zpw5gw0bNiAgIECWzIaGBlit\nVufnhYWFCA4ORkhIiFe5c+fORVFREQoLC1FYWIjIyEj8+c9/xujRo70tGTdu3HDOmUqShP3798No\nNHqdGxoailGjRqG4uBjAnVUA1dXV+NnPfuZ1NgC89957GDNmDLp27SpLHgBERkbiypUrOH/+PACg\ntLQU1dXVsjTOq1evArgzRfb666/j6aefRlBQkNe5gP+eg2qhuAfUl5aWYvHixbDZbNDr9cjJyUGf\nPn28zs3OzsbBgwdRVVWFrl27IiQkBH/729+8zv3qq69gMpkQHR2NTp06AQCioqKwYcMGr3Krqqow\nb9483Lx5E1qtFsHBwUhNTZVtjvM7MTEx2Lx5M/r37+91Vnl5OVJSUmC32+FwONC3b18sW7YM4eHh\nsmSnpaWhrq4OHTp0wEsvvYQxY8Z4nQsAsbGxWLp0KR577DFZ8r6zd+9ebN261Xkh8oUXXsD48eO9\nzl26dCk+/fRTNDU14ZFHHkFaWhruu+8+j3PudU7IcQ7eK1vUeagWimvIREQ/VYqasiAi+iljQyYi\nUgg2ZCIihWBDJiJSCDZkIiKFYEMmIlIINmQiIoVgQyYiUoj/AY9KlT8tz7vrAAAAAElFTkSuQmCC\n","text/plain":["<Figure size 432x288 with 2 Axes>"]},"metadata":{"tags":[]}}]},{"cell_type":"code","metadata":{"id":"oUoQXVpAttdE","colab_type":"code","colab":{}},"source":[""],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"Dgt7_Q7UQvsU","colab_type":"code","outputId":"1659a29d-7b68-4d43-ccdc-c7d3294ff259","executionInfo":{"status":"ok","timestamp":1585687442619,"user_tz":180,"elapsed":728,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":34}},"source":["pd.options.display.max_rows = None\n","\n","print(X.isna().sum().sum())"],"execution_count":0,"outputs":[{"output_type":"stream","text":["0\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"jWdzHffab_oG","colab_type":"code","outputId":"036b3fd9-c10e-4765-ae3f-bcc8cafa3fee","executionInfo":{"status":"ok","timestamp":1585690349995,"user_tz":180,"elapsed":73199,"user":{"displayName":"EDUARDO DUTRA","photoUrl":"","userId":"10500490115631402151"}},"colab":{"base_uri":"https://localhost:8080/","height":153}},"source":["from sklearn.model_selection import train_test_split\n","from sklearn.model_selection import KFold\n","from sklearn.model_selection import cross_val_score\n","from sklearn.metrics import classification_report\n","from sklearn.metrics import confusion_matrix\n","from sklearn.metrics import accuracy_score\n","from sklearn.linear_model import LogisticRegression\n","from sklearn.tree import DecisionTreeClassifier, DecisionTreeRegressor\n","from sklearn.neighbors import KNeighborsClassifier, KNeighborsRegressor\n","from sklearn.discriminant_analysis import LinearDiscriminantAnalysis\n","from sklearn.naive_bayes import GaussianNB\n","from sklearn.svm import SVC, SVR\n","\n","\n","\n","models = []\n","models.append(('LR', LinearRegression()))\n","#models.append(('LDA', LinearDiscriminantAnalysis()))\n","models.append(('KNN', KNeighborsRegressor()))\n","models.append(('CART', DecisionTreeRegressor()))\n","#models.append(('NB', GaussianNB()))\n","models.append(('SVM', SVR()))\n","# evaluate each model in turn\n","results = []\n","names = []\n","seed = 7\n","for name, model in models:\n","  \n","  model.fit(X, y)\n","  print(name)\n","  print(model.score(X,y))\n","  #results.append(cv_results)\n","  #names.append(name)\n","  #msg = \"%s: %f (%f)\" % (name, cv_results.mean(), cv_results.std())\n","  #print(msg)"],"execution_count":0,"outputs":[{"output_type":"stream","text":["LR\n","0.4576099082698882\n","KNN\n","0.5571918296726621\n","CART\n","1.0\n","SVM\n","0.3314122798855099\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"Y95X-k4tdr3M","colab_type":"code","colab":{}},"source":["#exemplo de ridge regression\n","# Import necessary modules\n","from sklearn.linear_model import Ridge\n","from sklearn.model_selection import cross_val_score\n","\n","def display_plot(cv_scores, cv_scores_std):\n","    fig = plt.figure()\n","    ax = fig.add_subplot(1,1,1)\n","    ax.plot(alpha_space, cv_scores)\n","\n","    std_error = cv_scores_std / np.sqrt(10)\n","\n","    ax.fill_between(alpha_space, cv_scores + std_error, cv_scores - std_error, alpha=0.2)\n","    ax.set_ylabel('CV Score +/- Std Error')\n","    ax.set_xlabel('Alpha')\n","    ax.axhline(np.max(cv_scores), linestyle='--', color='.5')\n","    ax.set_xlim([alpha_space[0], alpha_space[-1]])\n","    ax.set_xscale('log')\n","    plt.show()\n","# Setup the array of alphas and lists to store scores\n","alpha_space = np.logspace(-4, 0, 50)\n","ridge_scores = []\n","ridge_scores_std = []\n","\n","# Create a ridge regressor: ridge\n","ridge = Ridge(normalize = True)\n","\n","# Compute scores over range of alphas\n","for alpha in alpha_space:\n","\n","    # Specify the alpha value to use: ridge.alpha\n","    ridge.alpha = alpha\n","    \n","    # Perform 10-fold CV: ridge_cv_scores\n","    ridge_cv_scores = cross_val_score(ridge, X,y, cv=10)\n","    \n","    # Append the mean of ridge_cv_scores to ridge_scores\n","    ridge_scores.append(np.mean(ridge_cv_scores))\n","    \n","    # Append the std of ridge_cv_scores to ridge_scores_std\n","    ridge_scores_std.append(np.std(ridge_cv_scores))\n","\n","# Display the plot\n","display_plot(ridge_scores, ridge_scores_std)\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","execution_count":null,"metadata":{},"outputs":[],"source":["# Setup the pipeline steps: steps\n","steps = [('imputation', Imputer(missing_values='NaN', strategy='mean', axis=0)),\n","         ('scaler', StandardScaler()),\n","         ('elasticnet', ElasticNet())]\n","\n","# Create the pipeline: pipeline \n","pipeline = Pipeline(steps)\n","\n","# Specify the hyperparameter space\n","parameters = {'elasticnet__l1_ratio':np.linspace(0,1,30)}\n","\n","# Create train and test sets\n","X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.4, random_state = 42)\n","\n","# Create the GridSearchCV object: gm_cv\n","gm_cv = GridSearchCV(pipeline, param_grid=parameters)\n","\n","\n","\n","# Fit to the training set\n","gm_cv.fit(X_train,y_train)\n","\n","# Compute and print the metrics\n","r2 = gm_cv.score(X_test, y_test)\n","print(\"Tuned ElasticNet Alpha: {}\".format(gm_cv.best_params_))\n","print(\"Tuned ElasticNet R squared: {}\".format(r2))"]}]}