6 - Hyperpamater For Increased Scope-Copy1.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "# imports\n",
    "import numpy             as np\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas            as pd\n",
    "import math\n",
    "import keras\n",
    "from scipy.stats  import norm\n",
    "from keras.models import Sequential\n",
    "from keras.layers import Dense, LSTM, Dropout\n",
    "from keras        import backend as K\n",
    "from datetime     import datetime\n",
    "from keras.optimizers      import RMSprop\n",
    "from sklearn.preprocessing import MinMaxScaler\n",
    "from sklearn.metrics       import mean_squared_error\n",
    "from matplotlib.pylab      import rcParams\n",
    "from sklearn.model_selection import GridSearchCV\n",
    "from keras.wrappers.scikit_learn import KerasRegressor\n",
    "%matplotlib inline\n",
    "rcParams['figure.figsize'] = 15, 6\n",
    "\n",
    "# number of inputs to be fed\n",
    "look_back    = 288\n",
    "# number of outputs to be generated\n",
    "look_forward = 24\n",
    "# the number of stations\n",
    "stations     = 66"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# The interval between each dataset (original data in 5 minute intervals)\n",
    "time_grouping = '5min'\n",
    "# load the dataset\n",
    "dataframe = pd.read_csv('ignored_assets/paxout_table.csv', engine='python', nrows=288*21)\n",
    "dataframe['time_bucket'] = pd.to_datetime(dataframe['time_bucket'])\n",
    "dataframe = dataframe.set_index('time_bucket')\n",
    "# dataframe['total'] = dataframe.sum(axis=1)\n",
    "dataframe['day_hour'] = dataframe.index.round(time_grouping)\n",
    "dataframe = dataframe.groupby('day_hour').sum()\n",
    "# removes the timestamp at column 67\n",
    "dataset_orig = dataframe.values[:,:stations]\n",
    "dataset_orig = dataset_orig.astype('float32')\n",
    "# scale the dataset\n",
    "scaler = MinMaxScaler(feature_range=(0, 1))\n",
    "dataset = scaler.fit_transform(dataset_orig)\n",
    "\n",
    "# convert an array of values into a dataset matrix, adjusted to make a dateset that is 66 wide\n",
    "def create_dataset(dataset, look_back=1, look_forward=2):\n",
    "    dataX, dataY = [], []\n",
    "    np.array(dataY)\n",
    "    for i in range(len(dataset)-look_back-1):\n",
    "        a = dataset[i:(i+look_back),:]\n",
    "        # Makes sure that the array isn't the last 2 or 3 or whatever bits. It has to be the full 24\n",
    "        if len(dataset[i + look_back:i+look_back+look_forward, 0]) == look_forward:\n",
    "            dataX.append(a.T)\n",
    "            dataY.append(dataset[i + look_back:i+look_back+look_forward, :].T)\n",
    "    return np.array(dataX), np.array(dataY)\n",
    "\n",
    "# split into train and test sets\n",
    "train_size = 288*10\n",
    "test_size = len(dataset) - train_size\n",
    "test, train = dataset[0:test_size,:], dataset[test_size:len(dataset)-look_forward,:]\n",
    "\n",
    "# reshape into X=[t, t-1, t-2,..., t-look_back] and Y=[t+1, t+2,... t+look_forward]\n",
    "trainX, trainY = create_dataset(train, look_back, look_forward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def top_heavy_loss (y_true, y_pred):\n",
    "    w = np.arange(1,0, -1./24) ** 2\n",
    "    w = (w / w.sum())[:,None]\n",
    "    W = K.variable(value = w)\n",
    "    return K.dot( K.abs(y_pred-y_true), W)\n",
    "\n",
    "def top_heavy_tail_heavy (y_true, y_pred):\n",
    "    # This is the normal weights that decrease\n",
    "    # w = np.arange(1, 0, -1./24)**1.3\n",
    "    # This is the Weights with one difference, The last is weighted as equally as the first\n",
    "    w = np.append(np.arange(1,1./23, -1./24)**1.3, [1])\n",
    "    w = w / w.sum()\n",
    "    w = w[:,None]\n",
    "    W = K.variable(value = w)\n",
    "    return K.dot( K.abs(y_pred-y_true), W)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 2/60\n",
      "Epoch 1/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 2/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 3/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 4/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 5/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 6/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 7/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 8/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 9/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 10/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 11/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 13/60\n",
      "Epoch 12/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 14/60\n",
      "Epoch 13/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 15/60\n",
      "Epoch 14/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 16/60\n",
      "Epoch 15/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 17/60\n",
      "Epoch 16/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 18/60\n",
      "Epoch 17/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 18/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 20/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 21/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 22/60\n",
      "Epoch 21/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 23/60\n",
      "Epoch 22/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 24/60\n",
      "Epoch 23/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 25/60\n",
      "Epoch 24/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 26/60\n",
      "Epoch 25/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 27/60\n",
      "Epoch 26/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 28/60\n",
      "Epoch 27/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 29/60\n",
      "Epoch 28/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 30/60\n",
      "Epoch 29/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 31/60\n",
      "Epoch 30/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 32/60\n",
      "Epoch 31/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 33/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 34/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 35/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 36/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 37/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 38/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 39/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 40/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 41/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 42/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 43/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 44/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 45/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 46/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 47/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 48/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 49/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 50/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 51/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 52/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 53/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 54/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 55/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 56/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 57/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 58/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 59/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 60/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 1/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 2/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 3/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 4/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 5/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 6/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 7/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 8/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 9/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 10/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 11/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 12/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 13/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 14/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 15/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 16/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 17/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 18/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n",
      "Epoch 19/60\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 19/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 20/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 21/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 22/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 23/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 24/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 25/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 26/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 27/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 28/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 29/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 30/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 31/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 32/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 33/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 34/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 35/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 36/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 37/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 38/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 39/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 40/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 41/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 42/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 43/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 44/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 44/60\n",
      "Epoch 45/60\n",
      "Epoch 45/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 45/60\n",
      "Epoch 46/60\n",
      "Epoch 46/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 46/60\n",
      "Epoch 47/60\n",
      "Epoch 47/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 48/60\n",
      "Epoch 47/60\n",
      "Epoch 48/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 49/60\n",
      "Epoch 48/60\n",
      "Epoch 49/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 50/60\n",
      "Epoch 49/60\n",
      "Epoch 50/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 50/60\n",
      "Epoch 51/60\n",
      "Epoch 51/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 52/60\n",
      "Epoch 51/60\n",
      "Epoch 52/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 53/60\n",
      "Epoch 52/60\n",
      "Epoch 53/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 54/60\n",
      "Epoch 53/60\n",
      "Epoch 54/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 55/60\n",
      "Epoch 54/60\n",
      "Epoch 55/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 56/60\n",
      "Epoch 55/60\n",
      "Epoch 56/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 57/60\n",
      "Epoch 56/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 58/60\n",
      "Epoch 57/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 59/60\n",
      "Epoch 58/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 60/60\n",
      "Epoch 59/60\n",
      "Epoch 60/60\n",
      "Epoch 1/60\n",
      "Epoch 2/60\n",
      "Epoch 3/60\n",
      "Epoch 4/60\n",
      "Epoch 5/60\n",
      "Epoch 6/60\n",
      "Epoch 7/60\n",
      "Epoch 8/60\n",
      "Epoch 9/60\n",
      "Epoch 10/60\n",
      "Epoch 11/60\n",
      "Epoch 12/60\n",
      "Epoch 13/60\n",
      "Epoch 14/60\n",
      "Epoch 15/60\n",
      "Epoch 16/60\n",
      "Epoch 17/60\n",
      "Epoch 18/60\n",
      "Epoch 19/60\n",
      "Epoch 20/60\n",
      "Epoch 21/60\n",
      "Epoch 22/60\n",
      "Epoch 23/60\n",
      "Epoch 24/60\n",
      "Epoch 25/60\n",
      "Epoch 26/60\n",
      "Epoch 27/60\n",
      "Epoch 28/60\n",
      "Epoch 29/60\n",
      "Epoch 30/60\n",
      "Epoch 31/60\n",
      "Epoch 32/60\n",
      "Epoch 33/60\n",
      "Epoch 34/60\n",
      "Epoch 35/60\n",
      "Epoch 36/60\n",
      "Epoch 37/60\n",
      "Epoch 38/60\n",
      "Epoch 39/60\n",
      "Epoch 40/60\n",
      "Epoch 41/60\n",
      "Epoch 42/60\n",
      "Epoch 43/60\n",
      "Epoch 44/60\n",
      "Epoch 45/60\n",
      "Epoch 46/60\n",
      "Epoch 47/60\n",
      "Epoch 48/60\n",
      "Epoch 49/60\n",
      "Epoch 50/60\n",
      "Epoch 51/60\n",
      "Epoch 52/60\n",
      "Epoch 53/60\n",
      "Epoch 54/60\n",
      "Epoch 55/60\n",
      "Epoch 56/60\n",
      "Epoch 57/60\n",
      "Epoch 58/60\n",
      "Epoch 59/60\n",
      "Epoch 60/60\n",
      "Best: 0.069931 using {'dropout_rate': 0.45}\n",
      "0.064566 (0.003046) with: {'dropout_rate': 0.2}\n",
      "0.065938 (0.002943) with: {'dropout_rate': 0.3}\n",
      "0.069113 (0.003438) with: {'dropout_rate': 0.35}\n",
      "0.069502 (0.002585) with: {'dropout_rate': 0.4}\n",
      "0.069931 (0.002567) with: {'dropout_rate': 0.45}\n"
     ]
    }
   ],
   "source": [
    "\n",
    "# creates a model but does not compile the model\n",
    "def create_model(dropout_rate      = 0.1):\n",
    "    weight_constraint = 1\n",
    "    layers = 3\n",
    "    neurons = 128\n",
    "    model = Sequential()\n",
    "    model.add(Dropout(dropout_rate, input_shape=(stations, look_back)))\n",
    "    lstm = LSTM(256, recurrent_dropout=dropout_rate, return_sequences=True)\n",
    "    model.add(lstm)\n",
    "    # 6 Layers, 64 Neurons\n",
    "    for i in range(layers):\n",
    "        model.add(Dropout(dropout_rate))\n",
    "        model.add(Dense(neurons))\n",
    "    model.add(Dense(look_forward))\n",
    "    model.compile(loss=top_heavy_tail_heavy, optimizer=RMSprop(lr=0.0001, rho=0.9, epsilon=1e-08, decay=0.0), metrics=['mae'])\n",
    "    return model\n",
    "\n",
    "# creates the model\n",
    "model = KerasRegressor(build_fn=create_model, epochs=60, batch_size=40, verbose=3)\n",
    "\n",
    "# The Parameters to Search Through\n",
    "dropout_rate  = [0.2, 0.3, 0.35, 0.4, 0.45]\n",
    "\n",
    "# Defines it as a dictionary\n",
    "param_grid = dict(dropout_rate = dropout_rate)\n",
    "\n",
    "# Begins the Search For the Optimal Properties\n",
    "grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=10)\n",
    "\n",
    "grid_result = grid.fit(trainX, trainY)\n",
    "\n",
    "# summarize results\n",
    "print(\"Best: %f using %s\" % (grid_result.best_score_, grid_result.best_params_))\n",
    "means = grid_result.cv_results_['mean_test_score']\n",
    "stds = grid_result.cv_results_['std_test_score']\n",
    "params = grid_result.cv_results_['params']\n",
    "for mean, stdev, param in zip(means, stds, params):\n",
    "    print(\"%f (%f) with: %r\" % (mean, stdev, param))\n",
    "\n",
    "K.clear_session()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "'''\n",
    "Given: \n",
    "* epochs = 10\n",
    "* batch_size = 60\n",
    "\n",
    "\n",
    "Best: 0.073481 using {'dropout_rate': 0.5}\n",
    "0.068988 (0.001514) with: {'dropout_rate': 0.1}\n",
    "0.068582 (0.002472) with: {'dropout_rate': 0.2}\n",
    "0.069281 (0.002085) with: {'dropout_rate': 0.3}\n",
    "0.070244 (0.002457) with: {'dropout_rate': 0.4}\n",
    "0.073481 (0.004081) with: {'dropout_rate': 0.5}\n",
    "\n",
    "Best: 0.073881 using {'dropout_rate': 0.5}\n",
    "0.068489 (0.002157) with: {'dropout_rate': 0.1}\n",
    "0.068176 (0.002022) with: {'dropout_rate': 0.2}\n",
    "0.069107 (0.002549) with: {'dropout_rate': 0.3}\n",
    "0.070668 (0.003781) with: {'dropout_rate': 0.4}\n",
    "0.073881 (0.003803) with: {'dropout_rate': 0.5}\n",
    "\n",
    "Best: 0.073639 using {'dropout_rate': 0.5}\n",
    "0.069010 (0.002797) with: {'dropout_rate': 0.2}\n",
    "0.069681 (0.002601) with: {'dropout_rate': 0.3}\n",
    "0.069333 (0.002836) with: {'dropout_rate': 0.35}\n",
    "0.070192 (0.003108) with: {'dropout_rate': 0.4}\n",
    "0.071822 (0.003420) with: {'dropout_rate': 0.45}\n",
    "0.073639 (0.003678) with: {'dropout_rate': 0.5}\n",
    "\n",
    "Best: 0.095888 using {'dropout_rate': 0.7}\n",
    "0.068534 (0.002568) with: {'dropout_rate': 0.3}\n",
    "0.070097 (0.003232) with: {'dropout_rate': 0.4}\n",
    "0.073350 (0.003495) with: {'dropout_rate': 0.5}\n",
    "0.080014 (0.005029) with: {'dropout_rate': 0.6}\n",
    "0.095888 (0.007266) with: {'dropout_rate': 0.7}\n",
    "\n",
    "# NOW WITH TOP HEAVY AND \n",
    "\n",
    "Epoch 60,\n",
    "Batch 40\n",
    "\n",
    "Best: 0.076511 using {'dropout_rate': 0.6}\n",
    "0.076511 (0.004637) with: {'dropout_rate': 0.6}\n",
    "0.072940 (0.003572) with: {'dropout_rate': 0.55}\n",
    "0.070855 (0.003038) with: {'dropout_rate': 0.5}\n",
    "0.070032 (0.002518) with: {'dropout_rate': 0.45}\n",
    "0.071276 (0.004841) with: {'dropout_rate': 0.4}\n",
    "0.070700 (0.004780) with: {'dropout_rate': 0.35}\n",
    "0.067212 (0.004383) with: {'dropout_rate': 0.3}\n",
    "0.066771 (0.004673) with: {'dropout_rate': 0.2}\n",
    "\n",
    "\n",
    "Best: 0.070748 using {'dropout_rate': 0.55}\n",
    "0.063717 (0.002430) with: {'dropout_rate': 0.2}\n",
    "0.064518 (0.001925) with: {'dropout_rate': 0.3}\n",
    "0.065388 (0.001931) with: {'dropout_rate': 0.35}\n",
    "0.067466 (0.002239) with: {'dropout_rate': 0.4}\n",
    "0.068389 (0.003095) with: {'dropout_rate': 0.45}\n",
    "0.070119 (0.005674) with: {'dropout_rate': 0.5}\n",
    "0.070748 (0.003356) with: {'dropout_rate': 0.55}\n",
    "0.070547 (0.003264) with: {'dropout_rate': 0.6}\n",
    "\n",
    "'''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 2/10\n",
      "Epoch 3/10\n",
      "Epoch 2/10\n",
      "Epoch 3/10\n",
      "Epoch 2/10\n",
      "Epoch 4/10\n",
      "Epoch 3/10\n",
      "Epoch 4/10\n",
      "Epoch 6/10\n",
      "Epoch 4/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 5/10\n",
      "Epoch 7/10\n",
      "Epoch 5/10\n",
      "Epoch 7/10\n",
      "Epoch 5/10\n",
      "Epoch 7/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 8/10\n",
      "Epoch 6/10\n",
      "Epoch 8/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 8/10\n",
      "Epoch 3/10\n",
      "Epoch 9/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 9/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 9/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 10/10\n",
      "Epoch 5/10\n",
      "Epoch 10/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 10/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 4/10\n",
      "Epoch 10/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 5/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 2/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 1/10\n",
      "Epoch 1/10\n",
      "Epoch 3/10\n",
      "Epoch 9/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 9/10\n",
      "Epoch 1/10\n",
      "Epoch 9/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 2/10\n",
      "Epoch 10/10\n",
      "Epoch 2/10\n",
      "Epoch 2/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 3/10\n",
      "Epoch 3/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 3/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 4/10\n",
      "Epoch 4/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 9/10\n",
      "Epoch 4/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 5/10\n",
      "Epoch 5/10\n",
      "Epoch 10/10\n",
      "Epoch 5/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 6/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 7/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 8/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 9/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 10/10\n",
      "Epoch 1/10\n",
      "Epoch 2/10\n",
      "Epoch 3/10\n",
      "Epoch 4/10\n",
      "Epoch 5/10\n",
      "Epoch 6/10\n",
      "Epoch 7/10\n",
      "Epoch 8/10\n",
      "Epoch 9/10\n",
      "Epoch 10/10\n",
      "Best: 0.080195 using {'layers': 6, 'neurons': 64}\n",
      "0.078933 (0.004554) with: {'layers': 5, 'neurons': 64}\n",
      "0.071911 (0.003069) with: {'layers': 5, 'neurons': 128}\n",
      "0.070286 (0.004772) with: {'layers': 5, 'neurons': 192}\n",
      "0.080195 (0.004467) with: {'layers': 6, 'neurons': 64}\n",
      "0.071259 (0.002701) with: {'layers': 6, 'neurons': 128}\n",
      "0.071727 (0.005488) with: {'layers': 6, 'neurons': 192}\n"
     ]
    }
   ],
   "source": [
    "np.random.seed(4)\n",
    "\n",
    "# creates a model but does not compile the model\n",
    "def create_model(layers = 3,\n",
    "                 neurons = 128):\n",
    "    dropout_rate = 0.3\n",
    "    model = Sequential()\n",
    "    model.add(Dropout(dropout_rate, input_shape=(stations, look_back)))\n",
    "    lstm = LSTM(neurons, recurrent_dropout=dropout_rate, return_sequences=True)\n",
    "    model.add(lstm)\n",
    "    for i in range(layers):\n",
    "        model.add(Dropout(dropout_rate))\n",
    "        model.add(Dense(neurons))\n",
    "    model.add(Dense(look_forward))\n",
    "    model.compile(loss=top_heavy_loss, optimizer=RMSprop(lr=0.0001, rho=0.9, epsilon=1e-08, decay=0.0), metrics=['accuracy'])\n",
    "    return model\n",
    "\n",
    "# creates the model\n",
    "model = KerasRegressor(build_fn=create_model, epochs=10, batch_size=60, verbose=5)\n",
    "\n",
    "# The Parameters to Search Through\n",
    "layers = [5, 6]\n",
    "neurons  = [64, 128, 192]\n",
    "\n",
    "# Defines it as a dictionary\n",
    "param_grid = dict(layers = layers, neurons = neurons)\n",
    "\n",
    "# Begins the Search For the Optimal Properties\n",
    "grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=12)\n",
    "\n",
    "grid_result = grid.fit(trainX, trainY)\n",
    "\n",
    "# summarize results\n",
    "print(\"Best: %f using %s\" % (grid_result.best_score_, grid_result.best_params_))\n",
    "means = grid_result.cv_results_['mean_test_score']\n",
    "stds = grid_result.cv_results_['std_test_score']\n",
    "params = grid_result.cv_results_['params']\n",
    "for mean, stdev, param in zip(means, stds, params):\n",
    "    print(\"%f (%f) with: %r\" % (mean, stdev, param))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "'''\n",
    "\n",
    "With Parameters\n",
    "* Epochs 10\n",
    "* Batch 60\n",
    "* Dropout 0.1\n",
    "\n",
    "Best: 0.069670 using {'layers': 4, 'neurons': 128}\n",
    "0.068881 (0.002203) with: {'layers': 2, 'neurons': 128}\n",
    "0.067406 (0.002277) with: {'layers': 2, 'neurons': 256}\n",
    "0.068179 (0.002432) with: {'layers': 3, 'neurons': 128}\n",
    "0.068775 (0.002802) with: {'layers': 3, 'neurons': 256}\n",
    "0.069670 (0.004567) with: {'layers': 4, 'neurons': 128}\n",
    "0.068349 (0.003953) with: {'layers': 4, 'neurons': 256}\n",
    "\n",
    "Best: 0.071536 using {'layers': 5, 'neurons': 128}\n",
    "0.068984 (0.001735) with: {'layers': 3, 'neurons': 128}\n",
    "0.068473 (0.003188) with: {'layers': 3, 'neurons': 256}\n",
    "0.071083 (0.001236) with: {'layers': 4, 'neurons': 128}\n",
    "0.067224 (0.001717) with: {'layers': 4, 'neurons': 256}\n",
    "0.071536 (0.001275) with: {'layers': 5, 'neurons': 128}\n",
    "0.067902 (0.001421) with: {'layers': 5, 'neurons': 256}\n",
    "\n",
    "Best: 0.071820 using {'layers': 6, 'neurons': 64}\n",
    "0.070832 (0.002609) with: {'layers': 4, 'neurons': 64}\n",
    "0.068442 (0.002627) with: {'layers': 4, 'neurons': 128}\n",
    "0.070888 (0.002275) with: {'layers': 5, 'neurons': 64}\n",
    "0.068542 (0.002012) with: {'layers': 5, 'neurons': 128}\n",
    "0.071820 (0.002721) with: {'layers': 6, 'neurons': 64}\n",
    "0.068779 (0.002276) with: {'layers': 6, 'neurons': 128}\n",
    "\n",
    "With Parameters\n",
    "* Epochs 10\n",
    "* Batch 60\n",
    "* Dropout 0.3\n",
    "\n",
    "Best: 0.072169 using {'layers': 6, 'neurons': 128}\n",
    "0.069883 (0.002344) with: {'layers': 3, 'neurons': 128}\n",
    "0.069544 (0.002408) with: {'layers': 3, 'neurons': 256}\n",
    "0.071780 (0.003125) with: {'layers': 4, 'neurons': 128}\n",
    "0.067031 (0.001918) with: {'layers': 4, 'neurons': 256}\n",
    "0.072045 (0.002474) with: {'layers': 5, 'neurons': 128}\n",
    "0.068107 (0.002212) with: {'layers': 5, 'neurons': 256}\n",
    "0.072169 (0.002966) with: {'layers': 6, 'neurons': 128}\n",
    "0.068203 (0.002480) with: {'layers': 6, 'neurons': 256}\n",
    "\n",
    "Best: 0.080197 using {'layers': 6, 'neurons': 64}\n",
    "0.078916 (0.004541) with: {'layers': 5, 'neurons': 64}\n",
    "0.071914 (0.003064) with: {'layers': 5, 'neurons': 128}\n",
    "0.070201 (0.004656) with: {'layers': 5, 'neurons': 192}\n",
    "0.080197 (0.004459) with: {'layers': 6, 'neurons': 64}\n",
    "0.071463 (0.002642) with: {'layers': 6, 'neurons': 128}\n",
    "0.070445 (0.002954) with: {'layers': 6, 'neurons': 192}\n",
    "\n",
    "Best: 0.080195 using {'layers': 6, 'neurons': 64}\n",
    "0.078933 (0.004554) with: {'layers': 5, 'neurons': 64}\n",
    "0.071911 (0.003069) with: {'layers': 5, 'neurons': 128}\n",
    "0.070286 (0.004772) with: {'layers': 5, 'neurons': 192}\n",
    "0.080195 (0.004467) with: {'layers': 6, 'neurons': 64}\n",
    "0.071259 (0.002701) with: {'layers': 6, 'neurons': 128}\n",
    "0.071727 (0.005488) with: {'layers': 6, 'neurons': 192}\n",
    "'''"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}