src/07-pretrained-vec-nn-classifier.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "# Pretrained Vectors - Neural Network Classifier\n",
    "\n",
    "In this notebook, we try various merging strategies to merge the vectors for image pair inputs and try to predict similarity using a fully connected neural network front end."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "from __future__ import division, print_function\n",
    "from keras import backend as K\n",
    "from keras.layers import Input\n",
    "from keras.callbacks import ModelCheckpoint\n",
    "from keras.layers.core import Activation, Dense, Dropout, Lambda\n",
    "from keras.layers.merge import Concatenate\n",
    "from keras.models import Model, load_model\n",
    "from keras.utils import np_utils\n",
    "from sklearn.metrics import accuracy_score, confusion_matrix, classification_report\n",
    "import itertools\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import os\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "DATA_DIR = \"../data\"\n",
    "IMAGE_DIR = os.path.join(DATA_DIR, \"holiday-photos\")\n",
    "\n",
    "BATCH_SIZE = 32\n",
    "NUM_EPOCHS = 10"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "def get_holiday_triples(image_dir):\n",
    "    image_groups = {}\n",
    "    for image_name in os.listdir(image_dir):\n",
    "        base_name = image_name[0:-4]\n",
    "        group_name = base_name[0:4]\n",
    "        if image_groups.has_key(group_name):\n",
    "            image_groups[group_name].append(image_name)\n",
    "        else:\n",
    "            image_groups[group_name] = [image_name]\n",
    "    num_sims = 0\n",
    "    image_triples = []\n",
    "    group_list = sorted(list(image_groups.keys()))\n",
    "    for i, g in enumerate(group_list):\n",
    "        if num_sims % 100 == 0:\n",
    "            print(\"Generated {:d} pos + {:d} neg = {:d} total image triples\"\n",
    "                  .format(num_sims, num_sims, 2*num_sims))\n",
    "        images_in_group = image_groups[g]\n",
    "        sim_pairs_it = itertools.combinations(images_in_group, 2)\n",
    "        # for each similar pair, generate a corresponding different pair\n",
    "        for ref_image, sim_image in sim_pairs_it:\n",
    "            image_triples.append((ref_image, sim_image, 1))\n",
    "            num_sims += 1\n",
    "            while True:\n",
    "                j = np.random.randint(low=0, high=len(group_list), size=1)[0]\n",
    "                if j != i:\n",
    "                    break\n",
    "            dif_image_candidates = image_groups[group_list[j]]\n",
    "            k = np.random.randint(low=0, high=len(dif_image_candidates), size=1)[0]\n",
    "            dif_image = dif_image_candidates[k]\n",
    "            image_triples.append((ref_image, dif_image, 0))\n",
    "    print(\"Generated {:d} pos + {:d} neg = {:d} total image triples\"\n",
    "          .format(num_sims, num_sims, 2*num_sims))\n",
    "    return image_triples\n",
    "\n",
    "def load_vectors(vector_file):\n",
    "    vec_dict = {}\n",
    "    fvec = open(vector_file, \"rb\")\n",
    "    for line in fvec:\n",
    "        image_name, image_vec = line.strip().split(\"\\t\")\n",
    "        vec = np.array([float(v) for v in image_vec.split(\",\")])\n",
    "        vec_dict[image_name] = vec\n",
    "    fvec.close()\n",
    "    return vec_dict\n",
    "\n",
    "def train_test_split(triples, splits):\n",
    "    assert sum(splits) == 1.0\n",
    "    split_pts = np.cumsum(np.array([0.] + splits))\n",
    "    indices = np.random.permutation(np.arange(len(triples)))\n",
    "    shuffled_triples = [triples[i] for i in indices]\n",
    "    data_splits = []\n",
    "    for sid in range(len(splits)):\n",
    "        start = int(split_pts[sid] * len(triples))\n",
    "        end = int(split_pts[sid + 1] * len(triples))\n",
    "        data_splits.append(shuffled_triples[start:end])\n",
    "    return data_splits\n",
    "\n",
    "def batch_to_vectors(batch, vec_size, vec_dict):\n",
    "    X1 = np.zeros((len(batch), vec_size))\n",
    "    X2 = np.zeros((len(batch), vec_size))\n",
    "    Y = np.zeros((len(batch), 2))\n",
    "    for tid in range(len(batch)):\n",
    "        X1[tid] = vec_dict[batch[tid][0]]\n",
    "        X2[tid] = vec_dict[batch[tid][1]]\n",
    "        Y[tid] = [1, 0] if batch[tid][2] == 0 else [0, 1]\n",
    "    return ([X1, X2], Y)\n",
    "    \n",
    "def data_generator(triples, vec_size, vec_dict, batch_size=32):\n",
    "    while True:\n",
    "        # shuffle once per batch\n",
    "        indices = np.random.permutation(np.arange(len(triples)))\n",
    "        num_batches = len(triples) // batch_size\n",
    "        for bid in range(num_batches):\n",
    "            batch_indices = indices[bid * batch_size : (bid + 1) * batch_size]\n",
    "            batch = [triples[i] for i in batch_indices]\n",
    "            yield batch_to_vectors(batch, vec_size, vec_dict)\n",
    "\n",
    "def evaluate_model(model_file, test_gen):\n",
    "    model_name = os.path.basename(model_file)\n",
    "    model = load_model(model_file)\n",
    "    print(\"=== Evaluating model: {:s} ===\".format(model_name))\n",
    "    ytrue, ypred = [], []\n",
    "    num_test_steps = len(test_triples) // BATCH_SIZE\n",
    "    for i in range(num_test_steps):\n",
    "        (X1, X2), Y = test_gen.next()\n",
    "        Y_ = model.predict([X1, X2])\n",
    "        ytrue.extend(np.argmax(Y, axis=1).tolist())\n",
    "        ypred.extend(np.argmax(Y_, axis=1).tolist())\n",
    "    accuracy = accuracy_score(ytrue, ypred)\n",
    "    print(\"\\nAccuracy: {:.3f}\".format(accuracy))\n",
    "    print(\"\\nConfusion Matrix\")\n",
    "    print(confusion_matrix(ytrue, ypred))\n",
    "    print(\"\\nClassification Report\")\n",
    "    print(classification_report(ytrue, ypred))\n",
    "    return accuracy\n",
    "\n",
    "def get_model_file(data_dir, vector_name, merge_mode, borf):\n",
    "    return os.path.join(data_dir, \"models\", \"{:s}-{:s}-{:s}.h5\"\n",
    "                        .format(vector_name, merge_mode, borf))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Declare and Extract Common Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "VECTORIZERS = [\"InceptionV3\", \"ResNet\"]\n",
    "MERGE_MODES = [\"Concat\", \"Dot\", \"AbsDiff\", \"Euclidean\"]\n",
    "scores = np.zeros((len(VECTORIZERS), len(MERGE_MODES)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Generated 0 pos + 0 neg = 0 total image triples\n",
      "Generated 300 pos + 300 neg = 600 total image triples\n",
      "Generated 1100 pos + 1100 neg = 2200 total image triples\n",
      "Generated 1800 pos + 1800 neg = 3600 total image triples\n",
      "Generated 2072 pos + 2072 neg = 4144 total image triples\n"
     ]
    }
   ],
   "source": [
    "image_triples = get_holiday_triples(IMAGE_DIR)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2900 415 829\n"
     ]
    }
   ],
   "source": [
    "train_triples, val_triples, test_triples = train_test_split(image_triples, \n",
    "                                                            splits=[0.7, 0.1, 0.2])\n",
    "print(len(train_triples), len(val_triples), len(test_triples))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "# InceptionV3 Vectors"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "VECTOR_SIZE = 2048\n",
    "VECTOR_FILE = os.path.join(DATA_DIR, \"inception-vectors.tsv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "vec_dict = load_vectors(VECTOR_FILE)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Concatenate Vectors"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Concatenate(axis=-1)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 134s - loss: 0.5427 - acc: 0.7493 - val_loss: 0.3103 - val_acc: 0.8594\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.2198 - acc: 0.9132 - val_loss: 0.2777 - val_acc: 0.8984\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.1288 - acc: 0.9521 - val_loss: 0.2592 - val_acc: 0.8958\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.0943 - acc: 0.9698 - val_loss: 0.2891 - val_acc: 0.8932\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.0851 - acc: 0.9719 - val_loss: 0.2984 - val_acc: 0.8984\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.0564 - acc: 0.9778 - val_loss: 0.3966 - val_acc: 0.8880\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.0983 - acc: 0.9733 - val_loss: 0.3918 - val_acc: 0.8984\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.0368 - acc: 0.9889 - val_loss: 0.2960 - val_acc: 0.9245\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0370 - acc: 0.9885 - val_loss: 0.4165 - val_acc: 0.9062\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.0418 - acc: 0.9858 - val_loss: 0.3385 - val_acc: 0.9036\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"cat\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xl8VNX9//HXhxC2ECEGZYfgAgTCHhFLUaxLEfcVrfYn\nVKV117qU1i5qrbVuVb519+tS1y8FUb/9utUKLlWUBAHDJruEHWQnQEI+vz8+M2QCWclM7szk83w8\n7mO2O/ee3CTvOXPuueeIquKccy65NAq6AM4556LPw90555KQh7tzziUhD3fnnEtCHu7OOZeEPNyd\ncy4Jebg751wS8nB3SU9ElonIyUGXw7n65OHunHNJyMPdNVgicpWILBKR70XkbRHpEHpeROSvIrJO\nRLaKyDcikhN6baSIzBWRbSKyUkRuDfancK5iHu6uQRKRHwF/Bi4C2gPLgddDL58KHA90B1qF1tkY\neu2/gZ+rajqQA3xUj8V2rsYaB10A5wJyKfCcqs4AEJFfA5tEJAsoBtKBnsBXqjov4n3FQC8RmaWq\nm4BN9Vpq52rIa+6uoeqA1dYBUNXtWO28o6p+BPwNeAxYJyJPi8ghoVXPB0YCy0XkYxE5rp7L7VyN\neLi7hmoV0DX8QETSgExgJYCqjlfVQUAvrHnmttDz01X1bOBw4E1gQj2X27ka8XB3DUWqiDQLL8Br\nwBgR6S8iTYF7gS9VdZmIHCMix4pIKrAD2AWUikgTEblURFqpajGwFSgN7Cdyrgoe7q6heAcoiliG\nA78DJgGrgSOBi0PrHgI8g7WnL8eaax4IvfZTYJmIbAV+gbXdOxd3xCfrcM655OM1d+ecS0Ie7s45\nl4Q83J1zLgl5uDvnXBIK7ArVNm3aaFZWVlC7d865hJSfn79BVQ+rbr3Awj0rK4u8vLygdu+ccwlJ\nRJZXv5Y3yzjnXFJKzHDfuTPoEjjnXFxLvHB/7DHo0QO2bg26JM45F7fiasjf4uJiCgsL2bVrV+Ur\nDR0KzzwDBQWQkVF/hUtAzZo1o1OnTqSmpgZdFOdcPYurcC8sLCQ9PZ2srCxEpPIVly2DjRshKwua\nN6+v4iUUVWXjxo0UFhbSrVu3oIvjnKtncdUss2vXLjIzM6sOdoCOHaFRI1ixAnxsnAqJCJmZmVV/\nC3LOJa24Cneg+mAHSE2FDh2s3X3z5tgXKkHV6Fg655JS3IV7jR1+uDXJrFgBpT6ktnPORUrccBeB\nLl1gzx5YsyYqm9y8eTOPP/54rd83cuRINvs3COdcHEnccAdIT7ceM6tXw+7ddd5cZeFeUlJS5fve\neecdWrduXef9O+dctCR2uAN07my1+BUr6rypcePGsXjxYvr3788xxxzDsGHDOOuss+jVqxcA55xz\nDoMGDaJ37948/fTT+96XlZXFhg0bWLZsGdnZ2Vx11VX07t2bU089laKiojqXyznnaiuuukKWc9NN\nMHNmzdbds8dq7i1aQEpK5ev17w+PPFLpy/fddx8FBQXMnDmTqVOncvrpp1NQULCvK+Fzzz3HoYce\nSlFREccccwznn38+mZmZ5baxcOFCXnvtNZ555hkuuugiJk2axGWXXVazn8M556Ik8WvuAE2aWNfI\nKHf7Gzx4cLk+4uPHj6dfv34MGTKEFStWsHDhwgPe061bN/r37w/AoEGDWLZsWVTL5JxzNRG/Nfcq\natgV2rwZFi2CTp2gXbuoFCEtLW3f/alTp/Lhhx/yxRdf0KJFC4YPH15hH/KmTZvuu5+SkuLNMs65\nQCRHzR2gVStbVq2C4uKD2kR6ejrbtm2r8LUtW7aQkZFBixYtmD9/PtOmTatLaZ1zLqbit+ZeWyJ2\ncnXOHCgshIO45D4zM5OhQ4eSk5ND8+bNadu27b7XRowYwZNPPkl2djY9evRgyJAh0Sy9c85FlWhA\nl+/n5ubq/pN1zJs3j+zs7LptuLDQ+r337AktW9ZtW0kgKsfUORc3RCRfVXOrWy95mmXC2re34Qm+\n+87HnXHONVjJF+4pKXZSdedO2LAh6NI451wgki/cAQ491JpkVq6Eaq4udc65ZJSc4R4ed6akxHrP\nOOdcA5Oc4Q52tephh8G6dT7nqnOuwUnecAeb1KNxY5/UwznX4CR3uDdubAG/bRts2hT1zbcMdbVc\ntWoVF1xwQYXrDB8+nP27fO7vkUceYWfEtwsfQtg5V1fJHe4AbdpYE01hIezdG5NddOjQgYkTJx70\n+/cPdx9C2LnoKi2FSZPgX/9qOHP71CjcRWSEiCwQkUUiMq6K9c4XERWRajvY15taTOoxbtw4Hnvs\nsX2P77zzTu655x5OOukkBg4cSJ8+fXjrrbcOeN+yZcvIyckBoKioiIsvvpjs7GzOPffccmPLXH31\n1eTm5tK7d2/+8Ic/ADYY2apVqzjxxBM58cQTgbIhhAEefvhhcnJyyMnJ4ZHQeDs+tLBzNTdnDgwb\nBhdcAKeeCt27w4MPNoCe0qpa5QKkAIuBI4AmwCygVwXrpQOfANOA3Oq2O2jQIN3f3Llz992/8UbV\nE06I4nLsTr3xkjWqRUUH7DdsxowZevzxx+97nJ2drd99951u2bJFVVXXr1+vRx55pJaWlqqqalpa\nmqqqLl26VHv37q2qqg899JCOGTNGVVVnzZqlKSkpOn36dFVV3bhxo6qqlpSU6AknnKCzZs1SVdWu\nXbvq+vXr9+03/DgvL09zcnJ0+/btum3bNu3Vq5fOmDFDly5dqikpKfr111+rquqFF16oL730UoU/\nU+Qxda4hKSpS/e1vVVNTVTMzVZ9/XvWVV1SHDVMF1aZNVS+7TPU//1EN/UsnBCBPq8lXVa1RzX0w\nsEhVl6jqHuB14OwK1vsj8BcguuPuRkvTpkDVk3oMGDCAdevWsWrVKmbNmkVGRgbt2rXjN7/5DX37\n9uXkk09m5cqVrF27ttJtfPLJJ/vGb+/bty99+/bd99qECRMYOHAgAwYMYM6cOcydO7fKIn/22Wec\ne+65pKWl0bJlS8477zw+/fRTwIcWdq4qU6dC375wzz1w8cUwbx6MHg0/+Ql88gl88w1ceSW89RYM\nHWpTPTzxhJ2eSxY1GTisIxCZiIXAsZEriMhAoLOq/p+I3FbZhkRkLDAWoEuXLlXutLYj/lavEawp\nhcItsGWLjSBZgQsvvJCJEyeyZs0aRo0axSuvvML69evJz88nNTWVrKysCof6rc7SpUt58MEHmT59\nOhkZGYwePfqgthPmQwvHp+++s0CZMMFaBJs2tekGYnFbk3UyMyFi5Oqk9/33cNtt8NxzcMQR8MEH\ncMopB66XkwN/+xvcdx+8+qoF+zXXwO23w2WXwdVX24dDIqvzqJAi0gh4GBhd3bqq+jTwNNjAYXXd\nd60dfrg1tH33HfTubRN87GfUqFFcddVVbNiwgY8//pgJEyZw+OGHk5qaypQpU1i+fHmVuzj++ON5\n9dVX+dGPfkRBQQGzZ88GYOvWraSlpdGqVSvWrl3Lu+++y/Dhw4GyoYbbtGlTblvDhg1j9OjRjBs3\nDlVl8uTJvPTSS9E5Fi6q1qyBe++Fp56yXreXXGL1h/AkYfvf7t4NO3ZYGFW2zp49Bz169T4tWsB1\n11ng7ffnlVRU4fXXbQK3jRvhV7+C3//efv6qtGwJY8fCVVfBV19ZyL/wAjz5JPzgBxbyF1wAzZrV\ny48RVTUJ95VA54jHnULPhaUDOcBUEQFoB7wtImepatV9AOtbo0Y2LPDChbB2rQ0ytp/evXuzbds2\nOnbsSPv27bn00ks588wz6dOnD7m5ufTs2bPKXVx99dWMGTOG7OxssrOzGTRoEAD9+vVjwIAB9OzZ\nk86dOzN06NB97xk7diwjRoygQ4cOTJkyZd/zAwcOZPTo0QwePBiAK6+8kgEDBngTTBzZuBHuvx/+\n678sjMeMgd/+Frp2jc72S0st4CsL/+pu//1veOABeOwxuP56uOWW5Av5ZcsshN97D445xmrr/frV\nbhsicOyxtjz8MLz4ogX8T39qHxhjxsDPfw5HHRWTHyE2qmuUxz4AlgDdKDuh2ruK9acShROqMbVw\noWp+vuru3fWzvwD5CdXY2LRJ9fe/V01PVxWxE3MLFwZdqorNm6d6ySVWzpYtVX/9a9UNG4IuVd0V\nF6s++KBqixaqaWmqjz6qWlISve2Xlqp++KHq+eerpqTYSdhTT1WdPNn2HRRqeEK12hVsW4wEvsV6\nzdwReu5u4KwK1o3/cN+1SzUvT3Xx4vrZX4A83KNr2zbVe+9Vzciw/54LLlAtKAi6VDUzZ47qqFEW\n8unpqnfcoRrqwJVw8vJUBwyw38EZZ6guXx7b/a1cqXr33aqdOtk+O3ZUvfNO1cLC2O63IlEN91gs\ngYa7qv1Wpk9X3bq1/vYZAA/36Ni5U/Xhh1UPO6wsUGbMCLpUB6egQPWii+znSE+37oLffx90qWpm\n2zbVX/5StVEj1XbtVP/xj/rtxlhcrPrmm6o//rEdv5QU1fPOU/3gA9W9e+unDAkb7qX19ZsqKVGd\nNcv+0hOpk2stlJaWerjX0e7dqo8/rtqhg/23nHyy6hdfBF2q6PjmG/vmAaqHHGLNTJs2BV2qyr3z\njmrXrlben/88+LIuWqR6223Whx5Ujz7amoli3eRV03CPq+EHmjVrxsaNG8PNO7EVntSjqAjWr4/9\n/uqZqrJx40aaJeJp/jhQUgLPP29XM15zjU3JO2WKXb6eLNPn5uTAP/4Bs2ZZd8G774asLLjrLust\nHC/WrrXeRyNHWu+XTz+1k51Bj9Bx5JF2Mr2wEF5+2Trj3XqrDWd1+eXwxRfBjlcYV3OoFhcXU1hY\nWKf+37W2dq11K+jQwQI/iTRr1oxOnTqRmpoadFESRmkp/M//wB/+YJ2qcnOt3/qpp1qPimQ2a5YF\n++TJFpw33ww33ljpJSExp2r91W+91UbtvuMO6+IYcYlH3PnmG/vgeekluyCqXz/ryXPppdGb0rmm\nc6jGVbNMIAoKrOFs7NigS+ICVFqq+sYbqjk59hW7Tx9rW03SFrsqff216jnn2HHIyFD94x9VQyNw\n1Jv5823YELDhAubNq9/919XWrapPPqnar1/ZuY1rrlGdPbvu2yYR29wDc9NN1oUgLy/okrh6Vlpq\nbbmDBtl/Q/fuqq+/Xn8nx+LZjBmqZ51lx+XQQ1X/9KfY9z/Yvdt6pTRpotq6teozzyT276K01M7R\n/L//Z2PZgOrQoaoffXTw2/Rwr43Nm1UPP1z1uOMS+y/J1cpHH6n+4Af2X5CVpfrCC8H2X45XeXnW\nOygc8vfeG5uQ/+wz1V69bD+jRqmuXh39fQRpwwY74XrUUfat8GB5uNfWc8/Z4XjxxaBL4mLs889V\nf/Qj3ddf+cknG8T1bHX21Veqp59uxy0zU/W++6xrYl1t3qz6i1/Ydrt0Uf3nP+u+zXi2d2/d6pAe\n7rW1d6/qsceqtm1b/w2Mrl7k56uOHGl/9YcfrvrII1WOAO0q8eWXqqedZsexTRvVv/xFdfv22m+n\ntFR14kTV9u2t3/rNN0fnwyLZ1TTc46orZKAaNbIBQtatsz5hLmkUFMD558OgQdY97b77YMkS6wni\nPUVrb/BgeOcdO5a5udaDpVs3mwBjx46abWPFCjjnHBuUq21b+PJLG9MlWj1KHIlXc3/vPdWrrrJx\nJP79b9W1aw9qM5W74grVxo1V/eKfhPftt6o/+UnZ5fZ33mlNAC66Pv/cxlwJfyN66CHVHTsqXrek\nRHX8eBvjpnlz1Qce8PMctUWyNss8/rid1LFesGVfDYcPV73uOms//eyzOly9tnataqtWqqec0jD7\nwSWBZcvsMzolxQaVGjcuOQbKinf/+Y/924C1bj78sA3bEDZrlurgwfb6j3+sumRJcGVNZDUN97i6\niKmmVG387Dlz7Ct3eJkzB7ZvL1uvY0e7Ci+89O4NvXrVYPKC8ePtO/sbb8C55x5UGV107d5tv9tt\n28puI++Hbxctgr//3S44uvpq+PWv7Wu/qz+ffQZ33mnDDbdrB+PG2bWCDzwAGRk2Ec8llyT/RWGx\nUtOLmBIy3CujavNwRIZ9QQHMnWvhAPYH1a1b+cDPyYEePSKufCspgQEDLDHmzoXmzaNazmSnalcU\nVhbAVYVzZa/VdNKKpk1tOrU77rCh+11wPv3UQv6jj+zxmDEW8JmZgRYr4TXIcK/M3r2weHH5wC8o\ngG+/tRwHG3mge/eysM+hgJw7z+fI311K47t/Xy/lTBTbt8OCBTYv5fz5tixYYBNXbN9uS03/rJo2\nhfR0O5GWnl7+flXPVfZas2ZeI4w306ZB48Z28tXVnYd7DezZYwEf2bRTUGA9KcKHpSm76JndiJyB\nTco18XTpUuEsfUlDFVavLgvvyCAvLCxbLyXFBlDq0cOaP2oSzOH7LVuCD3vjXO14uNfBzp0WZgUf\nb6TgVy8xJ/N4CpoMZEXENOFpaXD00TZTX2VLu3bx39Vuzx77VhMO7sggj5wJPj0devYsW7Kz7fbI\nI20yZudc/ahpuNd5guxk1KKF9YkeNCgTinbAbwfBv/7FlmNOZs6csqadxYutdjtzpp0wKi09cFsZ\nGWVBX9UHQXp6bJsTNm8uH+DhZfHisqYpsFGQe/a0IUsjg7x9e2/ucC6ReM29Ort2WUN806Y2Jmol\n7Qh799qw8KtXV7ysWVN2P3xyN1KLFpXX/iMfZ2ZW3hxUWmpNJvs3o8yfb/sPS021bx3h2nd46dHD\nPmScc/HLm2Wi6X//F846Cx56CH75yzptStVq0ZV9CEQukc0iYamp1rYdGfjbtlmYL1hgTUphrVuX\nBXhkkHfrZie4nHOJx8M9mlTh9NOtA++331p1uh7s2FFxzX//JS2tfHiH7x92mDelOJdsvM09mkTs\nyoucHLsq5vnn62W3aWlw1FG2OOdcbSRxZ74o697dmmReeME67jrnXBzzcK+N3/7W5lq9/vqKu8Y4\n51yc8HCvjZYt7frpvDybudc55+KUh3ttXXIJDBtmbe+bNgVdGuecq5CHe22J2KQe338PN9xQcX9F\n55wLmIf7wejXD26/HV5+Gbp2hbvusrB3zrk4UaNwF5ERIrJARBaJyLgKXv+liMwVkdki8m8R6Rr9\nosaZP//Zes0cf7yNa9q1qwX+6tVBl8w556oPdxFJAR4DTgN6AZeISK/9VvsayFXVvsBE4P5oFzQu\nHXssvPkmzJ5ddgVrt25wzTWwbFnQpXPONWA1qbkPBhap6hJV3QO8DpwduYKqTlHV8IXv04BO0S1m\nnOvTB155xa5evfxy+O//tiuPLr/cxgVwzrl6VpNw7whEDHZLYei5ylwBvFvRCyIyVkTyRCRv/fr1\nNS9lojjySHjqKRsQ/oYbYOJEG3TsggsgPz/o0jnnGpConlAVkcuAXOCBil5X1adVNVdVcw877LBo\n7jq+dOwIDz9sTTN33AEffmjT0IwYYXOPOedcjNUk3FcCkbNRdgo9V46InAzcAZylqhUMatsAHXYY\n/PGPNrHrn/8MM2bYCdhhw+Ddd2s+F51zztVSTcJ9OnC0iHQTkSbAxcDbkSuIyADgKSzY10W/mAnu\nkENsCvhly6yP/PLlMHKkzQgycaINBu+cc1FUbbiraglwHfA+MA+YoKpzRORuETkrtNoDQEvgHyIy\nU0TermRzDVuLFnDddbBokQ1fsGMHXHihjTb54otQXBx0CZ1zScLHcw/S3r0waRLce6/N8tSli/WV\n/9nPoHnzoEvnnItDNR3P3a9QDVJKClx0EXz9Nfzf/9kEptddZ33l778ftm4NuoTOuQTl4R4PRKwN\n/rPPYOpUG97gV7+yq17/8AfYuDHoEjrnEoyHezwRgRNOgPffh6++ghNPhLvvtpC/5RZYtSroEjrn\nEoSHe7w65hh44w0oKIBzz4VHH7Xmml/8wi6Scs65Kni4x7veveGll2xog5/9zOZv7d4dfvpTmDMn\n6NI55+KUh3uiOOIIeOIJWLoUbroJJk+2LpTnngtvvWV96P2iKOdciHeFTFQbN8L48bZs3mzPHXII\n9O1rJ2TDtzk5kJYWbFmdc1FT066QHu6JbudOG3J41qzyt+EZokRsQLPIwO/bF7Ky7DXnXEKpabg3\nro/CuBhq0QKGDLElTNWaaWbPLh/4b7xR1nSTnm4hHxn4ffrYJODOuYTnNfeGZPt2OwkbDvtw8Ede\nLBVZyw8Hf1YWNPLTM87FA6+5uwO1bGmzRx17bNlzqjZq5f6BP3lyWS2/ZcuysA8Hfp8+Vvt3zsUl\nr7m7iu3caX3s92/P37KlbJ0jjigf+u3b2wdBy5YW/C1bQrNm3rZfX/butW9mX3xh8/tOm2bfys44\nA84/3y6KS00NupSujvyEqos+VVix4sDAX7gQSksrfk9KyoGBv/9tbZ9r7F84AVi/vizEv/gCpk+3\npjeANm3guOOgaVObO2DHDsjIsLl+zz8fTjnFPnhdwvFwd/Vn506bK3bjRuuls337gbfVPbdjR833\n17Rp5R8ChxxiV/L26GEXe3XvnhxdQYuL7cM0HOTTpsHixfZaSgr0728n1Y87zm6POKLsG1NREfzr\nXzYC6dtvW9fZli3h9NMt6E87zU+kJxAPd5dYSkst4A/mgyHyuU2bbAyeyL/rjh3Lwr5Hj7L7WVkW\njPFo9eryQZ6XZyEN0K6dhXg4yAcNsl5TNbFnD0yZYj2n3nwT1q2zGvyPf2xBf8YZVsN3ccvD3TVc\nRUU2IcqCBTZsw4IFZUv4gi+AJk2sd1BFwd+mTf2dK9i9G2bOLAvyL76wk9xgbeQDB5YF+ZAhNu5/\nNMq2d6+NRPrGG7YUFlqT10knWdCfc45NFeniioe7c/tThQ0bygI/MvgXLSo/E1ZGRlngRwb/UUfV\nbSIVVQvRyCCfMcNq1ACdO5cP8gED6qdtvLTU2uwnTbJlyRLr/jpsmAX9eefZNyAXOA9352qjpMTm\ntq0o+FdGzAcvYjXn/YO/e3d7fv/rAYqKID+/fBNLeOjmZs0gN7csyIcMiY8AVbX2/XDQz51rzw8Z\nYiF//vnWpu8C4eHuXLRs3249gioK/vAwD2BhffTRFvSZmVYjnznTPjjAAjEc4scdZ91HmzQJ5meq\njfnzrdlm0iT7mcBO4IaDvlevYMvXwHi4OxdrqrB2bfnAD9+uW1e+B8uxx0LbtkGXuO6WLrUL3CZN\ngs8/t+d69ixruhkwwK9riDEPd+dcbK1aZUH/xhs2PWRpqXVDDdfojz3Wh62IAQ9351z92bDB5hWY\nNAk+/NBOTnfoYPMNnH++ddeMrNHvnzu1fXyw2ygpsd5Je/ZUfVuTderynr/+1SbfOQge7s65YGzZ\nAv/8pwX9e++V9c9PFk2b2rmSmtxW9tqFF8LQoQe1ex84zDkXjFat4NJLbdmxwyZ8X7LkwLb4uj4+\nmPc0blx16FYX1I0bJ8w5BQ9351zspKVZG7yrd362wznnkpCHu3POJaHATqiKyHpg+UG+vQ2wIYrF\nSXR+PMrz41HGj0V5yXA8uqpqtYP+BBbudSEieTU5W9xQ+PEoz49HGT8W5TWk4+HNMs45l4Q83J1z\nLgklarg/HXQB4owfj/L8eJTxY1FegzkeCdnm7pxzrmqJWnN3DZiITBWRTSLSNOiyOBevPNxdQhGR\nLGAYoMBZ9bhfv5rbJZSEC3cRGSEiC0RkkYiMC7o8QRGRziIyRUTmisgcEbkx6DLVk/8HTANeAC4P\nPykizUXkIRFZLiJ7ReR7EWkeeu2HIvK5iGwWkRUiMjr0/FQRuTJiG6NF5LOIxyoi14rIQmBh6LlH\nQ9vYKiL5IjIsYv0UEfmNiCwWkW2h1zuLyGMi8lDkDyEib4vIzbE4QBH7aC0iE0VkvojME5HjYrm/\neCYiN4f+TwpE5DURqYe5CwOmqgmzACnAYuAIoAkwC+gVdLkCOhbtgYGh++nAtw3hWACLgGuAQUAx\n0Db0/GPAVOBO4DXgP0BToCuwDbgESAUygf6h90wFrozY9mjgs4jHCvwLOBRoHnrustA2GgO3AGuA\nZqHXbgO+AXoAAvQLrTsYWAU0Cq3XBtgZLnsMj9WL4Z8v9P/SOujfX0B/Mx2BpRG/wwnA6KDLFesl\n0Wrug4FFqrpEVfcArwNnB1ymQKjqalWdEbq/DZiH/REnLRH5IRbWE1Q1H/ug/4mINAJ+BvwJa7J5\nBtikqruBnwAfquprqlqsqhtVdWYtdvtnVf1eVYsAVPXl0DZKVPUh7AOkR2jdK4HfquoCNbNC634F\nbAFOCq13MTBVVdfW5XhURURaAccD/x0q9x5V3Ryr/SWAxkDzUPNaC+zDNqklWrh3BFZEPC4kyQOt\nJkLt0AOAL4MtScxdDnygquHLx18NPdcGaIbV6G8HSiPe0xn7EDhYkX9viMitoSaOLSKyGWgV2n91\n+3oRq/UTun2pDmWqiW7AeuB5EflaRJ4VkbQY7zMuqepK4EHgO2A1sEVVPwi2VLGXaOHu9iMiLYFJ\nwE2qujXo8sRKqP38IuAEEVkjImuAm7Gmj/bAHmBPqEYfaQVwZCWb3YHV4sLaVbDOvr7Cofb120Pl\nyFDV1liNPDzAd1X7ehk4W0T6AdnAm5WsFy2NgYHAE6o6APtZG+Q5KhHJwL7hdwM6AGkiclnV70p8\niRbuK7HaUVin0HMNkoikYsH+iqq+EXR5YuwcYC/QC+gfWrKBT7GTrAVYeK7AmutOFpFXgVdC9y8S\nkcYikiki/UPbnAmcJyItROQo4IpqypAOlGA14sYi8nvgkIjXnwX+KCJHi+krIpkAqloITMdq7JPC\nzTwxVAgUqmr429xELOwbopOBpaq6XlWLgTeAHwRcpphLtHCfDhwtIt1EpAnWdvl2wGUKhIgI1p46\nT1UfDro89eBy4HlV/U5V14QX4G/ApcBw4Ensb7olVlO9QlW/A0ZiJz+/xwK9X2ibf8Vq/GuxZpNX\nqinD+8B72Mnr5cAuyjfbPIydrPsA2Ir9fppHvP4i0IfYN8kQOjYrRCR8PuAkYG6s9xunvgOGhD7E\nBTsW8wIuU8wl3BWqIjISeATrOfOcqv4p4CIFInRy8VOsd0a4jfk3qvpOcKWKDyIyHLhVVc8IuiyR\nROR4rHnNjjH1AAAZj0lEQVSmq9bDP17oG8qzWE+ZJcAYVd0U6/3GIxG5CxiFffP6GutFtDvYUsVW\nwoW7c4ko1IT2OjBLVe8Oujwu+VXbLCMiz4nIOhEpqOR1EZHxoYuKZotIQ23Xc65CIpINbMZO/D4S\ncHFcA1GTNvcXgBFVvH4acHRoGQs8UfdiOZc8VHWeqqap6g+SuUeTiy/VhruqfoKdiKrM2cDfQxdt\nTANai0j7aBXQOedc7UVjMKTKLixavf+KIjIWq92TlpY2qGfPnlHYvXPONRz5+fkbtAZzqNbrSHeq\n+jShwfJzc3M1Ly+vPnfvnHMJT0SW12S9aPRz9wuLnHMuzkSj5v42cJ2IvA4ci43bcECTjHOuAdq2\nDebOhQ2h4YBEgl2aNIGmTaFZs7IlNdVeSzLVhruIvIZd/ddGRAqBP2BDp6KqTwLvYFcALsKGMR0T\nq8I65+LUnj2wYAF88w0UFNjyzTewbFnQJaueSPmwDy/7fwgc7DoVrXfYYdCyZUx/rGrDXVUvqeZ1\nBa6NWomcc/GrtBSWLj0wxL/9FkpKbJ3GjaFHDxgyBK68Evr0gXahMdlUg12Ki2HXrrJl9+7yjytb\nvv++8tf27Kn9cXz8cbj66uj9XirgU4c55w6kCmvWHBjic+fCzp1l63XrZuF9zjmQk2P3u3e35o+G\norS07EOiph8WQ4bEvFge7s5F0969sHkz7NgBaWmQnh7/Qbd5M8yZUxbk4dvvIy5vadvWgnvs2LIQ\n79Ur5k0LCaFRI2je3JY44uHu3P5274ZNm2zZvLni+5U93lrBBahNmlgIpqeXXw72uYP9sCgqgvnz\nD6yNFxaWrXPIIRbeF1xQFuK9e1sbsUsoHu4u+ahazbmmgbz/46Jqhlpv0QIyMmxp3Rq6dIF+/coe\nZ2RYrX3nTustEl62by+7v2WLhWrk8+E26+rU5sNi166yWvmiRdaEEN5GdjYMH24hHg7yzp2TsudI\nQ+Th7qJj7VoLxj17Kl+Ki6t+PRrr79plwVldULZqVT6ge/Ys/zh8f//HrVvHpplF1b4xVPRBUNkH\nROQS+WERXvbutaA+6igL7osvLgvxo46yE58uaflv19WOKqxYAfn5MGNG2bJmTd233bixBWd1S2pq\nWfNERUtkcFcU1occAikpdS9vNEV2x4tGE0j4wwJsm67B8XB3lVOFJUvKAjwc6Bs32uuNGtlJtR//\nGAYMsFCqSTjvH9Th20aJNjFYHAt/WLgGy8PdmdJS66scWRufMcO+7oOFb06OdXkbNAgGDrSv9y1a\nVL1d51wgPNwbopIS6zURWRufOdPac8GupuvXDy65xEJ80CDrMdG0abDlds7VmId7stuzx3pLRDat\nzJplJx7Bat79+8OYMRbkAwdaL4rU1GDL7ZyrEw/3ZLJrl3V5izzZ+c03ZZdHp6dbeF99dVmNvHv3\n+Du56JyrMw/3RLZrF/zjH/DRRxbkc+ZY9zewXiGDBsFNN5XVyI880k9aOtdAeLgnolWrbOChp56y\noVQPO8yC/Iwzyk52du3qF6M414B5uCcKVfjyS3j0UZg40WroZ54JN94IJ57oQe6cK8fDPd7t2WNN\nL48+CtOn2wU4118P110HRxwRdOmcc3HKwz1erV0LTz5py5o1Nj723/4Gl1/uI/E556rl4R5v8vOt\nlv4//2O19tNOs6aXU07xk6HOuRrzcI8HxcUwebKF+uefW8187FhrfunePejSOecSkId7kDZsgKef\ntp4vK1daV8VHHoHRo23wK+ecO0ge7kGYNQvGj4dXXrGR+045xdrWTzvNLyhyzkWFh3t9KSmBt9+2\nUP/4Y7vsf8wYa3rp1Svo0jnnkoyHe6xt2gTPPguPPQbLl9vFRQ88AFdcYVeROpfkduyw00qtWwdd\nkobFwz1W5syB//oveOklm25t+HD461/hrLO86cUlNVVYsADeeceWTz6xcD/ySMjNLVsGDrTLNlxs\neLhH09699tc8fjx8+KFNlnDppdb00q9f0KVzLmZ27oSpU8sCfelSe753bxveqHVr6+U7bZr18g3r\n3r0s7AcNsjlf0tMD+RGSjod7NGzZAs8/bzX1JUugY0e491646ipo0ybo0jkXE0uWlIX5lCk2jl2L\nFnDSSXD77dY/oGvXA9+3fr0FfV6eLZ98Aq++aq+J2HS24bDPzbURqdPS6vdnSwaiqoHsODc3V/Py\n8gLZd9QsWGBXjb7wgk10MXSoXXB0zjk+HrpLOrt3w6eflgX6ggX2fPfuFuQjR8Lxxx/c7H5r1pQF\nfn6+jbQRnpY3PJtjOOxzc+2LcPPm0fvZEomI5KtqbrXrebgfpHvugd/9zub/vPhiuOEG++tzLol8\n9x28+64tH35oJ0ebNrWx6kaOtFA/6qjY7HvVqvI1/Lw8WLfOXktJsSafyDb8Pn0axrSxHu6xtHix\nzVZ0xhnwxBPQtm3QJXIuKoqL7SLpcO28oMCe79oVTj/dAv3EE4OZOlcVCgsPDPzwfO2NG1vAR7bh\n9+lj9a9k4uEeS6NGwT//CYsWQfv2QZfGuTpZvRree8/C/IMPYOtWa1UcNszCfORIawePx1GlVe3b\nRWTY5+dbD2SwYO/btyzsO3Sw2n3TpmW3kffDt02axOfPC1EOdxEZATwKpADPqup9+73eFXgOOAz4\nHrhMVQur2mbChvuXX8KQIfD738NddwVdGudqbe9e+Oqrstr5jBn2fIcOZWF+0kmJ201R1XrrRIZ9\nfr71e6iN/YO/ug+E2jyXm3vwI3ZHLdxFJAX4FjgFKASmA5eo6tyIdf4B/FNVXxSRHwFjVPWnVW03\nIcNd1c4YLVxoi/fZcgliwwZ4/30L8/feg++/t3brH/ygrO28b9/4ra3WVWmp9e7ZsMFODO/aZbeV\n3a/pc9W9XpknnoBf/OLgfpaahntNukIOBhap6pLQhl8HzgbmRqzTC/hl6P4U4M3aFTdBvP02fPYZ\nPPEEBcvTmTnTvr7V5pO7sXc+jYrdu60mtnWr3YaXHTvg8MOhSxfo3LnhdaFThc2bralixQqrlb/z\njtXUVe3YnHmmBfoppzSci6QbNbITv7E6+VsRVTuHUVH4t2sX+/3XJGo6AisiHhcCx+63zizgPKzp\n5lwgXUQyVXVj5EoiMhYYC9ClS5eDLXMwiovZe/uv+d+O1/Lo62OZevXBbaZRo4P7SlfXr4EVPRfE\n8PCqdsFLZCDvH9A1ea6qWlGkQw8tC/ouXcrf79zZmiIS6QN31y4L7RUrygI88va77+wDLkwEBg+G\nO++0QB840KcFqC8iVvkL6oRutP6sbwX+JiKjgU+AlcDe/VdS1aeBp8GaZaK075jbvBmeu/Ir/vbt\nP1nKEXRuBH/5i40ksHfvwX2dq+q57dur/vpYXBydnys1NbofFkVFNQvovQf8ZZQnYi1erVqVLYcf\nDkcfXf65Qw4p/7hVK+v7vG7dgcG3fLn10d68ufy+GjWygK8o+MPPHXpo/TRX7N1rE3CFQ7qiAA93\nBYzUtq2VNzsbTj21fPmPOgoyM2Nfdhd/ahLuK4HOEY87hZ7bR1VXYTV3RKQlcL6q7vdvlHgWLLCL\nTl94QdmxYyjDDpnF/c8q55wrgdb2Sktj10a4/3ObNlX9emlp+bI1bnxg8HbtWnUg7/9cy5Z1q132\n6FH5a9u2la/5RoZnXh688YZNgBWpefOqa/+dO1ffNVDVPtwqq22vWGHd/EpKyr+vZcuyfQ4ceOC+\nO3VqGH27Xe3VJKKmA0eLSDcs1C8GfhK5goi0Ab5X1VLg11jPmYRUWmrdwcaPtws3mjSBS3p+zQ2z\nr2Tgh0/BMcGfcWrUyAInHq7QKykpC/xwmeL5pFx6ul3tWNkoy6Wldnl8ZQH87rt25eT+/RAyM8sH\n/6GHWhfDyO1s21b+PY0bWzh36WIXN1f0zaFVq/g+ni5+VRvuqloiItcB72NdIZ9T1TkicjeQp6pv\nA8OBP4uIYs0y18awzDGxfTv8/e9WU58/30543HUX/Pys1bT9wQ/h4rPhmGOCLmbcadzYapfJMmd3\no0bWzNG2rXVXq8iePTZxVkW18MWLbQCtLVusKalzZ/smccopBwZ327Y+QKiLnQZ/EdOyZTY8zLPP\n2j9kbq4ND3PRRaETIVdcYcP2LlgA3boFXVyXIEpKEutErUsc0ewKmXRUbSS6Rx+Ft96yr70XXGDD\nwxx3XMTX4G++sUHBbrzRg93Vige7C1qD+hPctcuGFh0/3qYxzcyEX/0KrrnG2j4P8Ktf2dm+3/62\n3svqnHN10SDCfdUqePxxeOop62KYkwPPPGPzaFR6UvLf/7azZw88YGfHnHMugSR1uH/5pTW9/OMf\n1of4zDOtheXEE6vpgVBaCrfdZn34rruu3srrnHPRknThXlwMEydaqH/5pbWqXH89XHutzeFYI6+8\nAl9/bbfeidg5l4CSJtzXr7dmlyeesGaYo4+2bo2XX17L8b2KiuCOO2x80Isvjll5nXMulhI+3GfN\nslr6q6/ahTSnnmrt6SNGHORVjuPHW6flF1/0QTiccwkrIcN9714boPHRR+Hjj+3S7zFjrPmlsisP\na2TDBpvY+vTTrWHeOecSVMKF+8SJdq5z2TK7yu/+++HKK6M0dOk999ilqvffH4WNOedccBIu3Bs1\nssu3H3wQzj47iheLLF5s/SWvuKKO1X/nnAtewoX7uefCeefFYMO//rWNN+BT5znnkkDCnTGMyQh5\n06ZZZ/hbb/UJr51zSSHhwj3qVC3U27a1W+ecSwIJ1ywTdW++Cf/5Dzz5ZPKMW+uca/Aads29uNgG\nB8vOthOpzjmXJBp2zf2ZZ2DhQus072O0OueSSMOtuW/dalPCn3ACnHFG0KVxzrmoarjV1fvvtwFp\nHnzQJ6l0LgqKi4spLCxk165dQRclKTRr1oxOnTqRmpp6UO9vmOG+ciU8/DBccknlE2U652qlsLCQ\n9PR0srKyEK8w1YmqsnHjRgoLC+l2kLPANcxmmd/9zgao+dOfgi6Jc0lj165dZGZmerBHgYiQmZlZ\np29BDS/cZ8+2eVGvu87nRXUuyjzYo6eux7Lhhfvtt0OrVjZmu3POJamGFe7/+he8/75NeO3zojqX\nVDZv3szjjz9e6/eNHDmSzZs3x6BEwWo44V5aarX2rCyfF9W5JFRZuJeUlFT5vnfeeYfWrVvHqliB\naTi9ZV5+GWbOtCmbmjYNujTOJbebbrL/t2jq3x8eeaTSl8eNG8fixYvp378/qampNGvWjIyMDObP\nn8+3337LOeecw4oVK9i1axc33ngjY8eOBSArK4u8vDy2b9/Oaaedxg9/+EM+//xzOnbsyFtvvUXz\n5s2j+3PUk4ZRcy8qsqaY3FwYNSro0jjnYuC+++7jyCOPZObMmTzwwAPMmDGDRx99lG+//RaA5557\njvz8fPLy8hg/fjwbN248YBsLFy7k2muvZc6cObRu3ZpJkybV948RNQ2j5v7oozYv6t//7vOiOlcf\nqqhh15fBgweX6yM+fvx4Jk+eDMCKFStYuHAhmZmZ5d7TrVs3+vfvD8CgQYNYtmxZvZU32pI/3Nev\nhz//2YYYGD486NI45+pJWlravvtTp07lww8/5IsvvqBFixYMHz68wj7kTSOabFNSUigqKqqXssZC\njaqxIjJCRBaIyCIRGVfB611EZIqIfC0is0VkZPSLepD++EebF/Uvfwm6JM65GEpPT2fbtm0VvrZl\nyxYyMjJo0aIF8+fPZ9q0afVcuvpXbc1dRFKAx4BTgEJguoi8rapzI1b7LTBBVZ8QkV7AO0BWDMpb\nOwsXwhNP2AzaPi+qc0ktMzOToUOHkpOTQ/PmzWnbtu2+10aMGMGTTz5JdnY2PXr0YMiQIQGWtH7U\npFlmMLBIVZcAiMjrwNlAZLgrcEjofitgVTQLedB+8xvrGePzojrXILz66qsVPt+0aVPefffdCl8L\nt6u3adOGgoKCfc/fmuAzs9WkWaYjsCLicWHouUh3ApeJSCFWa7++og2JyFgRyRORvPXr1x9EcWvh\niy9g4kS47TZo1y62+3LOuTgTra4jlwAvqGonYCTwkogcsG1VfVpVc1U197DDDovSrisQnhe1XTu4\n5ZbY7cc55+JUTZplVgKdIx53Cj0X6QpgBICqfiEizYA2wLpoFLLWJk+Gzz+Hp57yeVGdcw1STWru\n04GjRaSbiDQBLgbe3m+d74CTAEQkG2gGxLjdpRLFxTBunM2L+rOfBVIE55wLWrU1d1UtEZHrgPeB\nFOA5VZ0jIncDear6NnAL8IyI3IydXB2tqhrLglfqqaesl8z//q/Pi+qca7BqlH6q+g52ojTyud9H\n3J8LDI1u0Q7Cli3WM2b4cDj99KBL45xzgUmua/Hvvx82bPB5UZ1z1WoZOh+3atUqLrjgggrXGT58\nOHl5eVVu55FHHmHnzp37HsfLEMLJE+6FhTYv6k9+AoMGBV0a51yC6NChAxMnTjzo9+8f7vEyhHDy\nNEr/7nc2ZrvPi+pc4AIY8Zdx48bRuXNnrr32WgDuvPNOGjduzJQpU9i0aRPFxcXcc889nH322eXe\nt2zZMs444wwKCgooKipizJgxzJo1i549e5YbW+bqq69m+vTpFBUVccEFF3DXXXcxfvx4Vq1axYkn\nnkibNm2YMmXKviGE27Rpw8MPP8xzzz0HwJVXXslNN93EsmXL6mVo4eSouc+aBS++CNdfb5NxOOca\nnFGjRjFhwoR9jydMmMDll1/O5MmTmTFjBlOmTOGWW26hqr4eTzzxBC1atGDevHncdddd5Ofn73vt\nT3/6E3l5ecyePZuPP/6Y2bNnc8MNN9ChQwemTJnClClTym0rPz+f559/ni+//JJp06bxzDPP8PXX\nXwP1M7RwctTcb78dWrf2eVGdixNBjPg7YMAA1q1bx6pVq1i/fj0ZGRm0a9eOm2++mU8++YRGjRqx\ncuVK1q5dS7tKrlr/5JNPuOGGGwDo27cvffv23ffahAkTePrppykpKWH16tXMnTu33Ov7++yzzzj3\n3HP3jU553nnn8emnn3LWWWfVy9DCiR/uH3xgy0MPQUZG0KVxzgXowgsvZOLEiaxZs4ZRo0bxyiuv\nsH79evLz80lNTSUrK6vCoX6rs3TpUh588EGmT59ORkYGo0ePPqjthNXH0MKJ3Syzd6+NHdOtG4Ta\n2ZxzDdeoUaN4/fXXmThxIhdeeCFbtmzh8MMPJzU1lSlTprB8+fIq33/88cfvG3ysoKCA2bNnA7B1\n61bS0tJo1aoVa9euLTcIWWVDDQ8bNow333yTnTt3smPHDiZPnsywYcOi+NNWLbFr7i+/DLNnw2uv\n+byozjl69+7Ntm3b6NixI+3bt+fSSy/lzDPPpE+fPuTm5tKzZ88q33/11VczZswYsrOzyc7OZlCo\n512/fv0YMGAAPXv2pHPnzgwdWnZZz9ixYxkxYsS+tvewgQMHMnr0aAYPHgzYCdUBAwbU2+xOEtSF\npLm5uVpd/9EqFRVB9+7Qvj18+aX3a3cuYPPmzSM7OzvoYiSVio6piOSram51703cmvsjj1jf9pdf\n9mB3zrn9JGabe3he1DPPhBNOCLo0zjkXdxIz3O++G3bu9HlRnYszQTXzJqO6HsvEC/dvv4Unn7R5\nUb19z7m40axZMzZu3OgBHwWqysaNG2nWrNlBbyPx2twnTLCeMXfeGXRJnHMROnXqRGFhITGfQrOB\naNasGZ06dTro9ydmb5lly3yYAedcg1TT3jKJ1ywDHuzOOVeNxAx355xzVfJwd865JBRYm7uIrAeq\nHuihcm2ADVEsTqLz41GeH48yfizKS4bj0VVVD6tupcDCvS5EJK8mJxQaCj8e5fnxKOPHoryGdDy8\nWcY555KQh7tzziWhRA33p4MuQJzx41GeH48yfizKazDHIyHb3J1zzlUtUWvuzjnnquDh7pxzSSjh\nwl1ERojIAhFZJCLjgi5PUESks4hMEZG5IjJHRG4MukzxQERSRORrEfln0GUJmoi0FpGJIjJfROaJ\nyHFBlykoInJz6P+kQEReE5GDH24xQSRUuItICvAYcBrQC7hERHoFW6rAlAC3qGovYAhwbQM+FpFu\nBOYFXYg48Sjwnqr2BPrRQI+LiHQEbgByVTUHSAEuDrZUsZdQ4Q4MBhap6hJV3QO8DpwdcJkCoaqr\nVXVG6P427B+3Y7ClCpaIdAJOB54NuixBE5FWwPHAfwOo6h5V3RxsqQLVGGguIo2BFsCqgMsTc4kW\n7h2BFRGPC2nggQYgIlnAAODLYEsSuEeA24HSoAsSB7oB64HnQ81Uz4pIWtCFCoKqrgQeBL4DVgNb\nVPWDYEsVe4kW7m4/ItISmATcpKpbgy5PUETkDGCdquYHXZY40RgYCDyhqgOAHUCDPEclIhnYN/xu\nQAcgTUQuC7ZUsZdo4b4S6BzxuFPouQZJRFKxYH9FVd8IujwBGwqcJSLLsOa6H4nIy8EWKVCFQKGq\nhr/NTcTCviE6GViqqutVtRh4A/hBwGWKuUQL9+nA0SLSTUSaYCdF3g64TIEQEcHaU+ep6sNBlydo\nqvprVe2kqlnY38VHqpr0tbPKqOoaYIWI9Ag9dRIwN8AiBek7YIiItAj935xEAzi5nFBzqKpqiYhc\nB7yPnfF+TlXnBFysoAwFfgp8IyIzQ8/9RlXfCbBMLr5cD7wSqggtAcYEXJ5AqOqXIjIRmIH1Mvua\nBjAMgQ8/4JxzSSjRmmWcc87VgIe7c84lIQ9355xLQh7uzjmXhDzcnXMuCXm4O+dcEvJwd865JPT/\nAU9uhJKzOwdWAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe294151250>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: inceptionv3-cat-final.h5 ===\n",
      "\n",
      "Accuracy: 0.904\n",
      "\n",
      "Confusion Matrix\n",
      "[[371  58]\n",
      " [ 19 352]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.95      0.86      0.91       429\n",
      "          1       0.86      0.95      0.90       371\n",
      "\n",
      "avg / total       0.91      0.90      0.90       800\n",
      "\n",
      "=== Evaluating model: inceptionv3-cat-best.h5 ===\n",
      "\n",
      "Accuracy: 0.901\n",
      "\n",
      "Confusion Matrix\n",
      "[[364  62]\n",
      " [ 17 357]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.96      0.85      0.90       426\n",
      "          1       0.85      0.95      0.90       374\n",
      "\n",
      "avg / total       0.91      0.90      0.90       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"cat\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[0, 0] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Elementwise Cosine Distance"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(10,) (10,)\n",
      "(10,)\n"
     ]
    }
   ],
   "source": [
    "def cosine_distance(vecs, normalize=False):\n",
    "    x, y = vecs\n",
    "    if normalize:\n",
    "        x = K.l2_normalize(x, axis=0)\n",
    "        y = K.l2_normalize(x, axis=0)\n",
    "    return K.prod(K.stack([x, y], axis=1), axis=1)\n",
    "\n",
    "def cosine_distance_output_shape(shapes):\n",
    "    return shapes[0]\n",
    "\n",
    "vecs = [np.random.random((10,)), np.random.random((10,))]\n",
    "print(vecs[0].shape, vecs[1].shape)\n",
    "s = cosine_distance(vecs)\n",
    "print(s.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Lambda(cosine_distance, \n",
    "                  output_shape=cosine_distance_output_shape)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 1s - loss: 0.2495 - acc: 0.9066 - val_loss: 0.1786 - val_acc: 0.9297\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.0913 - acc: 0.9674 - val_loss: 0.1692 - val_acc: 0.9427\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.0583 - acc: 0.9802 - val_loss: 0.1291 - val_acc: 0.9557\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.0390 - acc: 0.9868 - val_loss: 0.1657 - val_acc: 0.9453\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.0194 - acc: 0.9938 - val_loss: 0.0931 - val_acc: 0.9714\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.0201 - acc: 0.9941 - val_loss: 0.1918 - val_acc: 0.9583\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - ETA: 0s - loss: 0.0274 - acc: 0.9897\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b - 0s - loss: 0.0262 - acc: 0.9903 - val_loss: 0.1561 - val_acc: 0.9661\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.0176 - acc: 0.9951 - val_loss: 0.1922 - val_acc: 0.9635\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0181 - acc: 0.9941 - val_loss: 0.1578 - val_acc: 0.9688\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.0141 - acc: 0.9965 - val_loss: 0.2488 - val_acc: 0.9583\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"dot\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYQAAAEICAYAAABfz4NwAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJztnXd4VVXWh99FCL0XaUFgAKVJBymCWGbEBjYEO9gdZxTb\niOUby4hTLKPO2EfsZRAb48hYQR3HQuhNektoobcEUtb3x7ohNyEhgdybc5O73uc5T04/657cu397\nr7X32qKqOI7jOE6loA1wHMdxYgMXBMdxHAdwQXAcx3FCuCA4juM4gAuC4ziOE8IFwXEcxwFcEBzH\ncZwQLgiOUwgiskpETg3aDscpS1wQHMdxHMAFwXEOCxG5RkSWichWEZksIs1D+0VE/ioim0Rkp4jM\nE5EuoWNniMhCEdklIqkicnuwn8JxCscFwXFKiIicDPwRuBBoBqwG3gkd/hUwGDgGqBs6Z0vo2EvA\ndapaG+gCfFWGZjtOiakctAGOU464BJigqjMBROQuYJuItAYygdpAB+AnVV0Udl0m0ElE5qjqNmBb\nmVrtOCXEWwiOU3KaY60CAFR1N9YKaKGqXwF/B54GNonICyJSJ3Tq+cAZwGoR+VpE+pex3Y5TIlwQ\nHKfkrANa5W6ISE2gIZAKoKpPqWovoBPmOrojtH+6qg4HjgI+BCaWsd2OUyJcEBynaBJFpFruArwN\njBGR7iJSFXgY+FFVV4lIHxE5XkQSgT1ABpAjIlVE5BIRqauqmcBOICewT+Q4h8AFwXGK5hMgPWwZ\nAvwf8B6wHmgLjAqdWwd4EYsPrMZcSY+Ejl0GrBKRncD1WCzCcWIO8QlyHMdxHPAWguM4jhPCBcFx\nHMcBXBAcx3GcEC4IjuM4DlDORio3atRIW7duHbQZjuM45YoZM2ZsVtXGxZ1XrgShdevWJCcnB22G\n4zhOuUJEVhd/lruMHMdxnBDxIwjp6UFb4DiOE9PEhyBceilccEHQVjiO4xw2S5fCuefCtjLIkVuu\nYghHTLdu8LvfwRdfwKk+K6LjxAKZmZmkpKSQkZERtCkxS1YWbNgAN9wAa9fa+qGoVq0aSUlJJCYm\nHtHzylXqit69e+sRBZUzMqBjR6hTB2bOhISEyBvnOM5hsXLlSmrXrk3Dhg0RkaDNiTn27YPFiyE7\nG449FmrUOPT5qsqWLVvYtWsXbdq0yXdMRGaoau/inhkfLqNq1eDPf4a5c+GVV4K2xnEcICMjw8Wg\nCPbvhyVLTAyOOaZ4MQAQERo2bFiqFld8CALAiBHQvz/cey/s3h20NY7jgItBIWRmmhhkZkL79lCz\nZsmvLe37jB9BEIHHHzcn3COPFH++4zhOGZOZaW6i/ftNDGrVKtvnx48gAPTrByNHmiCkpARtjeM4\nAbJ9+3aeeeaZw77ujDPOYPv27RG3JyvLWga5YlC7dsQfUSzxJQgAf/yjOebuvTdoSxzHCZCiBCEr\nK+uQ133yySfUq1cvorbkikFGBrRrF4wYQDwKQps2MHYsvPqq9ThyHCcuGTduHMuXL6d79+706dOH\nQYMGMWzYMDp16gTAOeecQ69evejcuTMvvPDCgetat27N5s2bWbVqFR07duSaa66hc+fO/OpXvyL9\nCAbAZmfbWIP0dBODOnUi9hEPm/jodlqQHTvszXfpAl99ZfEFx3HKlEWLFtGxY0fbGDsWZs+O7AO6\nd4cnnijy8KpVqzjrrLOYP38+06ZN48wzz2T+/PkHumxu3bqVBg0akJ6eTp8+ffj6669p2LDhgZxq\nu3fvpl27diQnJ9O9e3cuvPBChg0bxqWXXlpiE3PFYM8eaNsWItHwyPdeQ3i300NRty7cfz9Mmwb/\n+lfQ1jiOEwP07ds3X//9p556im7dutGvXz/Wrl3L0qVLD7qmTZs2dO/eHYBevXqxatWqEj8vOxuW\nLbNOj23aREYMSkt8jFQujGuvhb//He64A04/HY5wZJ/jOBHgEDX5sqJmWP/OadOm8cUXX/D9999T\no0YNhgwZUmj//qpVqx5YT0hIKLHLKCcHli+HXbtMDBo0KL39kSA+WwhgAvDIIxbJee65oK1xHKeM\nqV27Nrt27Sr02I4dO6hfvz41atTg559/5ocffojYc3PFYOdOaN0aGjaM2K1LTfy2EADOPBNOOcXc\nR5deCvXrB22R4zhlRMOGDRk4cCBdunShevXqNGnS5MCxoUOH8txzz9GxY0eOPfZY+vXrF5Fn5uTA\nihUWxmzVCho1ishtI0Z8BpXDmTMHevSAW2+FRx+N7L0dxymSwoKfFRlVE4Nt2+Doo+Goo6LzHA8q\nl4Zu3WD0aPjb36wd5ziOE2FUYeVKE4OkpOiJQWlxQQB46CGoXBnGjQvaEsdxKhiqsGoVbN0KLVpA\n06ZBW1Q0URMEERkqIotFZJmIHFTSisitIrJQROaKyJci0ipathRL8+Y2X8KkSfDdd4GZ4ThOxUIV\n1qyBLVusmGnWLGiLDk1UBEFEEoCngdOBTsBFItKpwGmzgN6q2hWYBPwlGraUmNtvt//Yrbda5Mdx\nHKcUqNqkNmlpJgSxLgYQvRZCX2CZqq5Q1f3AO8Dw8BNUdaqq7g1t/gAkRcmWklGzJowfDz/9BP/8\nZ6CmOI5TvlG1/JmbNkGTJlbXLA8JEaIlCC2AtWHbKaF9RXEVMKWwAyJyrYgki0hyWlpaBE0shMsv\nt+Hu48ZZYhHHcZzDRBVSU2HjRgseJyWVDzGAGAgqi8ilQG+g0EkKVPUFVe2tqr0bN24cXWMqVYLH\nHjOn35NPRvdZjuOUO2qFJihYt24dF1xwQaHnDBw4hK++SqZxY2jZsnAxeOKJJ9i7d++B7Wil1D5c\noiUIqUDLsO2k0L58iMipwD3AMFXdFyVbDo+TT4azz4aHH7b2nuOUAffdBwMHwosvxveEfnv3wurV\nloh4wQKrZReTjToQmjdvzqRJkw7av369zYVcr56NNSiqZVBQEKKRUvtIiJYgTAfai0gbEakCjAIm\nh58gIj2A5zExiK2S9y9/sW/m/fcHbYkTBzz2GDz4oA1auvZa8zf/+tc2ZjIeyMmBzZth0SJYuNDW\n69WzwnTtWnsPK1ZYqodIj6MdN24cTz/99IHt+++/n4ceeohTTjmFnj17ctxxx/HRRx8ddN2qVavo\n0qULAOnp6YwaNYr27Tty8cXnkp2dTrNmZv8NN9xA79696dy5M/fddx9gSfPWrVvHSSedxEknnQTk\npdQGePzxx+nSpQtdunThiVCOp0il2i4WVY3KApwBLAGWA/eE9j2ICQDAF8BGYHZomVzcPXv16qVl\nxm9+o1qpkuqCBWX3TCfuePNNVVAdMUI1K0v1u+9UL79ctVo123/88aoTJqju2RO0pZFnzpyFumaN\n6qxZqqNGqfburdq/v+rgwaonnmjLoEGq/fqp9uql2rNn4ecUtdx8c/E2zJw5UwcPHnxgu2PHjrpm\nzRrdsWOHqqqmpaVp27ZtNScnR1VVa9asqaqqK1eu1M6dO6uq6mOPPaajRo3R6dNVP/54jiYkJOj0\n6dNVVXXLli2qqpqVlaUnnniizpkzR1VVW7VqpWlpaQeem7udnJysXbp00d27d+uuXbu0U6dOOnPm\nTF25cqUmJCTorFmzVFV1xIgR+vrrrxf6mRYuXHjQPiBZS1BuRy2GoKqfqOoxqtpWVceH9v1eVSeH\n1k9V1Saq2j20DIuWLUfEfffZtEV33BG0JU4F5YsvbJD8iSfCa69BQgIMGGBzN6WmWgLQnTvhyiut\n1fDb38L8+UFbXToyM224zymnwLp15pWtXdvSiNWsCVWq5HezVKoEVava3MLVq9uxffvMrZaeXnp3\nUo8ePdi0aRPr1q1jzpw51K9fn6ZNm3L33XfTtWtXTj31VFJTU9m4cWOR9/j8828YPPhS6tWD00/v\nSteuXQ8cmzhxIj179qRHjx4sWLCAhQsXHtKe//73v5x77rnUrFmTWrVqcd555/Htt98CpUu1XVLi\nO7ndoWjUCO65xwasff45/PKXQVvkVCBmzYJzz4UOHeDDD6FatfzHGzSAm2+Gm26C//4Xnn8eXnjB\nMrYPGADXXQcjRlghWR5Ys8bsf+kl2LDBErvVqwddu1ri4cOZ2njfPnMrbd5sAlO5smUMbdToyN7H\niBEjmDRpEhs2bGDkyJG8+eabpKWlMWPGDBITE2ndunWhqa/BbEhPNzH7xS9MwHJZuXIljz76KNOn\nT6d+/fqMHj26yPuUhCNNtX04BN7LqCy47jro0wfOOQduvNHixa++Cl9+CT//bDnJC+W3v7Vk5bfd\nZrNZOE4EWLHCpuBo0ACmTDn0xCgiMGgQvPGGtRoefdQKoSuusDQIt9xivvdYJDsbPvnE+mi0aWO/\nu9694eOPLW1Y3bpHNg1J1ar22bt2tcnoa9WylsaCBfYuNm8+vJ/ryJEjeeedd5g0aRIjRoxgx44d\nHHXUUSQmJjJ16lRWr15d5OdbtQr69x/M11+/RaVKMH/+fObOnQvAzp07qVmzJnXr1mXjxo1MmZLX\ns76o1NuDBg3iww8/ZO/evezZs4cPPviAQYMGHdb7KQ1x0UJo3dp6LixfDt98YwmmClK7tn3JWrSw\nfsO2Xo0W579Gi0fH0uKJf3LU2ItJSChz850KRFoaDB0K+/fD1Kn2PSspjRpZ3eTWW22yv+efh6ef\nNtfS4MFW8Tn/fCswg2TjRmsJvPCC/e6aNoW774arr7aWQaQQMVGpW9daClu2mBisWmUtkgYN7J3V\nrHnocQCdO3dm165dtGjRgmbNmnHJJZdw9tlnc9xxx9G7d286dOhw0DXbt9v/sHZtuOeeG7j66jF0\n7NiRjh070qtXLwC6detGjx496NChAy1btmTgwIEHrr/22msZOnQozZs3Z+rUqQf29+zZk9GjR9O3\nb18Arr76anr06BEV91BhxGX66717zX+ZmmqjCVNTD17Wrz/YP1m5stKsmRwQjoMFxJby0ox3ypbd\nu61X87x51jodMKD099y0CV55xQrf5cvNdTJ6tPVWOuaY0t+/pKiaSD33HLz/vv12TjkFrr8ehg8v\nvCUQjfTXqjY/8ebNlkwuJ8fccY0bm0BEYmLEbdvsXdeqZS2UWKsklib9dVwKQknIzrYfW2oqpH61\nmNQ7nyR14EhS252YT0QKczfVr1+0WPTrF1szJDllQ2amFYyffgoffADDItyFIicHvvrKCuSPPrIC\n+aSTrEA+5xwL1kaDrVstIP7cc7B4sX33x4wxQTr22ENfG+35ELKzzb7Nm00kRMw916gR1KlzZKOH\nt283MahRwwQ31sQASicIceEyOhISEvISUvXufSzM3AqTT4d3llgpH2LXrvwti4ItjrlzLYiWq7vV\nq9sP5pZboF27gD6cU6aoWgE5ZYrV5CMtBmDBzFNPtWXDBpgwwQa5jRxp6RPGjIFrroG2bUv/LFVL\n+fXss5b2KyMD+ve3uFwsBboTEqxl0LixBX43bza30rZtJpC5geiSuth27DAxqF49NlsGEaEkfVNj\nZSnTcQgFWblStWpV6yR+mGRmqq5dq/rNN6pXXaVapYqqiOp551m/83hj7lzV669X7dJF9Z13grYm\n+tx9t40puP/+sn1udrbqlCmq55yjmpBgNvzyl6qTJqnu33/499u1S/W551S7d7d71apl/8fZs4/M\nvoULFx7o319WZGerbtmiunix6vTptixebPuys4u+bscO1eRk1fnz7fccq+Tk5JRqHELghfzhLIEK\ngqrq735nr2zGjFLdZv161XvuUa1f327Xv7/qe+/ZwKSKSkaG6ltvqZ5wgn3mqlVVjznG1u+999A/\nxvLM3/5mn/Haa1XLuOzLR0qK6oMPqrZsafY0bWpCtXJl8dfOmaN6ww2qtWvbtV27qj77rOrOnaWz\nacWKFZqWllbmopBLRoZqaqp9vunTbYDc6tUHDwLcudN+8vPnH5mQlhU5OTmalpamK1asOOhYSQXB\nYwiHw44d5ufp0sUctqVMYbhnD7z8Mvz1r9YVsW1bcyWNHm09IyoCq1dbb5h//MN62LRtCzfcYJ+x\nVi3rBvzSS+Zff/1167VRUZg0CS680Lpdvvee9ZcPmuxsc109/7x1CVWF006zWMOZZ+bZmJEB775r\nsYH//c/cKiNH2v/u+OMjk70zMzOTlJSUUvXNjwSq9nl377YOJ2AupVq1LAi9aZO9lyZNYt9NVK1a\nNZKSkkgsED0vaQwh8Fr/4SyBtxBUVZ9+2qpJH34YsVtmZVkzvl8/u3WDBtaCWL8+Yo8oU3JdFWef\nbdk/KlVSHTZM9T//ObglkJOj+tRT5tLo3Fl1+fJgbI4006aZa3DAgNhNO7Fmjervf6/avLl971q0\nsO3bbrPvIFgr7vHHzaUSD6Slqf71r/ZdNKlQbdfOWhLlGdxlFCUyM1U7dFBt3151376I3/6771TP\nPddiDFWqWMyhvKRTSktT/ctfVH/xC/tmHXWUCdvq1cVf+/nn5kJr0ED1q6+ib2s0mTtXtW5d1Y4d\ny0dBmplp9ZvTT7fvXeXKllvpyy+DdXMFSU6O6g8/mDtzzZqgrSk9LgjR5OOP7dU9+WTUHrFkiflt\nc5OcnXGGFZSx9gPNyVH9/nuLtVetarYOHqz69tuHr5dLllghmpBgDbHyyOrVVtNu3rxkQhhrpKSo\nbtwYtBVOpHFBiCY5OaqnnGLV2a1bo/qotDQLBjZubP+tnj0tQ2bQwa3du1VffFG1Rw890OPk179W\nnTevdPfdvl31zDPtntdfH5VGWNTYssUErW5dayU4TqzgghBtZs+29vVtt5XJ49LTrQDu0MH+ay1b\nqj72mHWHK0sWLVK96SYr9ED1uONUn3mm9D1OwsnKUr3zTrv/iSeqbtoUuXtHi717LV5QpYrFDxwn\nlnBBKAuuvFI1MVF12bIye2R2tuq//mUFJajWqaN6++3R9XPu36/67ruqJ59sz0xMVL3oItVvv42u\nC+uNN8wN1bq1dQ2MVTIzVYcPt/rBu+8GbY3jHIwLQlmQmqpao4bqBRcE8vjp021ikYQECwReeqn1\npY4UKSmq992n2qyZfVOOPlr14YdVN2yI3DOK46efzB9fs6bq+++X3XNLSk6OjTEA6y3lOLGIC0JZ\ncf/99hq//TYwE1auVB071vz4YOGNKVOOrPaek6P6xReq559vQiOiOnSo6uTJwQ2cS01V7dvXPtuD\nD8ZWYP2BB8yuceOCtsRxisYFoazYvduqsH37Bj7cdts21T//Oa9feefONv1iRkbJrn3iCdVjj9UD\nYyHuuKNMvWGHJD1d9bLL9MB0k7t3B22RxXTAeljFkkg5TkFcEMqSl1+2V/nWW0FboqrWM+fVVy3F\nQG6agvHjC+8TP2OGjXWoXt3O7ddP9bXXrACONXJyVB991Aa6de8ebLfOjz4yO4YODb7Hl+MUR0kF\nwVNXRIKcHJsKassWm4ItRtI9qtq8vY8+Cp99Zil7r7rK0g9Mn27TFv74o5l7ySW2v2fPoK0unilT\nYNQoS6fw/vtwwgll+/zvv7dc/5072yQ3tWqV7fMd53ApaeqKuJhCM+pUqgSPPWbTND35ZNDWHEDE\npoL+9FOYM8dSEz/3HHTqZFMwbt9u5q5bZ6mSy4MYgE0/+eOPltv+5JMtF1JZ8fPPcNZZNrfFv//t\nYuBULLyFEEmGDbNpo5YtsyT0MUhqquWw797dJlCJRJKyoNi2zVoKn31mk9E/9lh0E8itW2d5/zMy\nrJXwi19E71mOE0m8hRAEjzxiM3Hcd1/QlhRJixY2J+/JJ5dvMQCbnevf/7bP89RT1nLYujU6z9qx\nI+/+U6a4GDgVExeESHLssZZH+IUXYMGCoK2JCypXtpbBhAnwzTfQty8sXBjZZ+zbZ9NQLlxoMYvy\n4lpznMPFBSHS3HefJfW/446gLYkrxoyxAO/u3TZv9ccfR+a+OTlw2WXmCXzlFYvJOE5FxQUh0jRq\nBPfea36Fzz8P2pq4YsAA6z3Vvr2Fc/7857y5rI8EVRg71iaKeeQR64nlOBUZF4Ro8NvfQps2cNtt\nNkWVU2a0bAnffmszlY0bB5deamGdI+Evf4G//c1msbvttsja6TixiAtCNKha1aqn8+bZHJlOmVKj\nBrz9NowfD2+9BYMHW++qw+G110xQRo2ycRzlPQDvOCXBBSFaXHCB+TD+7//Mse2UKSJw993w4Yc2\ndqB3bxu7UBL+8x8bwHfyyRY3qOS/EidOiNpXXUSGishiEVkmIuMKOT5YRGaKSJaIXBAtOwJDxLq/\nbNhgvgcnEIYPtzED1avDiSdazf9QTJ9uWt65M3zwgTX2HCdeiIogiEgC8DRwOtAJuEhEOhU4bQ0w\nGngrGjbEBP365fkcUlKCtiZu6dLFCvoBA2yE9h13FB7aWbYMzjwTGje2PgF16pS9rY4TJNFqIfQF\nlqnqClXdD7wDDA8/QVVXqepcICdKNsQGf/yj9V28556gLYlrGja0FB433mj6fNZZlrojl40b4bTT\n7F/16afQrFlwtjpOUERLEFoAa8O2U0L7DhsRuVZEkkUkOS0tLSLGlSmtW8PNN5uvYsaMoK2JaxIT\n4e9/t3xOX3xhDbglS2DXLjjjDPPu/fvfcMwxQVvqOMEQ8+EyVX1BVXurau/GjRsHbc6RcffdNj7h\ntttK1zHeiQjXXQdffmnJafv2hV/9ypL/TZwIxx8ftHWOExzREoRUoGXYdlJoX3xSty488AB8/bUl\n3cnICNqiuGfwYIsrtGoFP/xg2UbOPDNoqxwnWKIlCNOB9iLSRkSqAKOAyVF6Vvng2mutOjp2LDRv\nDr/+Nfz0k7cYAqR1a+uBNGsWXHll0NY4TvBERRBUNQv4DfApsAiYqKoLRORBERkGICJ9RCQFGAE8\nLyIVOxtc5crwv/9ZxPL0023A2vHH2+QEf/rT4Y+cciJCjRqWCtxxHJ8PITh27LAkOa++Cv/9b95s\nNldcYak1a9QI2kLHcSoIPh9CrFO3Llx9tSXeWbrUEuItXmwZ1Jo1g2uuMaEoR4LtOE75xgUhFmjX\nDh58EFassBzO555ryXgGDbLUnX/4A6xeHbSVjuNUcFwQYolKlWDIEEugs2GDuZOOPhp+/3uLgJ50\nku3z3EiO40QBF4RYpVYtuPxy+OorWLnSWhBr18Lo0dC0qcUapk61obWO4zgRwAWhPNC6tWVNXbrU\n4goXX2xpPE8+2Sb3/b//s0Q8juM4pcAFoTwhAgMH2iiqDRss2X+HDvDwwxZrOOEEePFF68HkOI5z\nmLgglFeqV4eLLrLk/WvW2FiGrVttAFzTptaK+PRTn7HNcZwS44JQEWjRAu68ExYssFlgrrzShGLo\nUAtKjxsHixYFbaXjODGOC0JFQsTSYzz9NKxfbwPfeva0fM+dOtnI6GeesZaE4zhOAXykcjywcSO8\n+aZ1Z503D6pUMeHo1y9vaXFE2ckdxykHlHSksgtCPKEKs2fboLfvvrP5Gfbts2NJSSYMxx9vf3v1\nsjiF4zjlnpIKQuWyMMaJEUSgRw9bwMRgzhzL/5y7TJpkxypXhm7d8rci2ra1eziOUyHxFoKTn40b\nLTCdKxA//QR79tixhg3zC0SfPpaTyXGcmMZdRk5kyM623kvhrYjcHksiFqwOF4mOHSEhIVibHcfJ\nhwuCEz22b7eWQ7hIbNtmx2rXzh+wPv54KK9TnzpOBcEFwSk7VC2tRrhAzJ2bNyiubdv8rYiuXa2n\nk+M4ZYILghMse/ZYL6Zcgfj+e0u3AVCtmvViCheJpKRg7XWcCowLghNbqFq21vBWxIwZsH+/Hc/t\n9tq/v/3t2dOEw3GcUuPdTp3YQsTSaBx9NFx4oe3bt8/GReS2IMK7vSYmmiiEi8TRR3u3V8eJIt5C\ncGKL9evzu5mSkyE93Y41a5ZfIHr39sFzjlMC3GXkVAwyMy1AHd6KWL7cjuUOnssViP79oU0bb0U4\nTgFcEJyKy6ZNNnguVyDCB88ddVT+VkSfPlCzZrD2xgrZ2TZXxtattmzbVvh6YqK1xpo2tb+5S5Mm\nHtcpp7ggOPFDVpYNnssViO+/hyVL7FhCAhx3XP5WRLt25bsVkZ5efKFe2PqOHRbcL4pataB+fQv0\nb9pU+Ln16xcuFuHbTZvaCPby/I4rGC4ITnyzZUteCo7vv7f1XbvsWHgKjv79TTASEmx+6pwcKwhz\n1w9nKe116eklK+BzExIWRkKCFdoNGtgSvl5wO3y9Xr38Y0OysiAtzWI669dbl+HC1tevL9yeatUK\nF4uC240b+8j2MsAFwXHCyc62lBvhAeuFC4O2qmhq1iy+EC9svXbtsq2Zq1rLozjh2LAhbzR7OJUq\nmZuvoFg0bQpVq+aJpWr+9cL2FXf8SO6jCjVq2P+jVq3i/9aqZWIYY60jFwTHKY7cFBw//2w/4EqV\nbAlfL+kSiWuqVs0r3CviSO6MjDyROFSLY+NGK5CjRfi7F8m/XnAfWMvtUK2ygoiUTDwKE5NDnVOz\n5hELjQuC4zjlk+xsc/nt31+yQruofYUdP1IyM63jwp49sHt38X9Lek5GRsltWLDAkkkeAT4wzXGc\n8klCgrmRYonERIuz1KsX2ftmZ5dMaHbvNldalHFBcBzHCYqEBKhTx5YYoFLQBjiO4zixgQuC4ziO\nA5SzoLKIpAGrj/DyRsDmCJpT3vH3kYe/i/z4+8hPRXgfrVS12JmqypUglAYRSS5JlD1e8PeRh7+L\n/Pj7yE88vQ93GTmO4ziAC4LjOI4TIp4E4YWgDYgx/H3k4e8iP/4+8hM37yNuYgiO4zjOoYmnFoIT\nx4jINBHZJiJVg7bFcWIVFwSnwiMirYFBgALDyvC5ngnAKVfEhSCIyFARWSwiy0RkXND2BIWItBSR\nqSKyUEQWiMjNQdtURlwO/AC8AlyRu1NEqovIYyKyWkSyRWSriFQPHTtBRP4nIttFZK2IjA7tnyYi\nV4fdY7SI/DdsW0XkRhFZCiwN7XsydI+dIjJDRAaFnZ8gIneLyHIR2RU63lJEnhaRx8I/hIhMFpFb\novGCwp5RT0QmicjPIrJIRPpH83mxjIjcEvqdzBeRt0Wkwk8XV+EFQUQSgKeB04FOwEUicmQpA8s/\nWcBtqtqP6RfVAAAgAElEQVQJ6AfcGCfv4nLgzdBymog0Ce1/FOgFvAxMBBYBOSLSCpgC/A1oDHQH\nZh/G884Bjse+bwDTQ/doALwFvBtWuNwKXAScAdQBrgT2Aq9i39VKACLSCDg1dH00eRL4j6p2ALph\n7yTuEJEWwE1Ab1XtAiQAo4K1KvpUeEEA+gLLVHWFqu4H3gGGB2xTIKjqelWdGVrfhf3YWwRrVXQR\nkROAVsBEVZ0BLAcuDhW0VwLjMXfSi8A2Vd0HXAx8oapvq2qmqm5R1cMRhD+q6lZVTQdQ1TdC98hS\n1ceAqsCxoXOvBu5V1cVqzAmd+xOwAzgldN4oYJqqbizN+zgUIlIXGAy8FLJ7v6puj9bzygGVgeoh\n118NYF3A9kSdeBCEFsDasO0UKnghWBJCfvUewI/BWhJ1rgA+U9Xc1ANvhfY1AqoBvwZ+B4TPyNIS\nE44jJfz7hojcHnK/7BCR7UDd0POLe9arwKWh9UuB10thU0loA6QBL4vILBH5h4jUjPIzYxJVTcVa\nkGuA9cAOVf0sWKuiTzwIglMAEakFvAeMVdWdQdsTLULxgAuBE0Vkg4hsAG7BXCHNgP3A/lDLIZy1\nQNsibrsHqy3m0rSQcw705Q7FC34XsqO+qtbDav65s7Uc6llvAMNFpBvQEfiwiPMiRWWgJ/CsqvbA\nPmtcxtxEpD7mSWgDNAdqisilh76q/BMPgpCK1cJySQrti0tEJBETgzdV9f2g7Yky5wDZmC+/e2jp\nCHyLxRXmYwXuWsyVeKqIvIXFGk4VkQtFpLKINBSR7qF7zgbOE5EaItIOuKoYG2pjsZs0oLKI/B6L\nFeTyD+APItJejK4i0hBAVVOw+MPrwHu5LqgokgKkqGpuq3ESJhDxyKnASlVNU9VM4H1gQMA2RZ14\nEITpQHsRaSMiVTBf7OSAbQoEERHMP7xIVR8P2p4y4ArgZVVdo6obchfg78AlwBDgOex3UAurEV+l\nqmuwIO9twFZMBLqF7vlXrGWxEXPpvFmMDZ8C/wGWYJl6M8jvUnocC2h/BuzE/j/Vw46/ChxH9N1F\nhN7NWhHJjW+cAiyM9nNjlDVAv5DwC/YuKnyAPS5GKovIGcATWE+BCao6PmCTAiEUYP0WmEeez/xu\nVf0kOKtiAxEZAtyuqmcFbUs4IjIYcx210jL4sYZaQv8AqgArgDGqui3az41FROQBYCTWwpsFXB3q\ndFBhiQtBcJzySMi99w4wR1UfDNoep+ITDy4jxyl3iEhHYDsW/H4iYHOcOKFEgiAiE0Rkk4jML+K4\niMhToZHAc0WkZ9ixK0RkaWgJHyXaS0Tmha55KuSncxwHUNVFqlpTVQdU5J5gTmxR0hbCK8DQQxw/\nHWgfWq4FngUQkQbAfdiozb7AfaHuXITOuSbsukPd33Ecx4kyJUq+parfhAYyFcVw4LVQ0OuHUD6U\nZlgvjs9VdSuAiHwODBWRaUAdVf0htP81rIvglEPZ0ahRI23d+lBmOI7jOAWZMWPG5pLMqRypbIxF\njQY+1P6UQvYfhIhci7U6OProo0lOTo6QyY7jOPGBiKwuyXkxH1RW1RdUtbeq9m7cuFiBcxzHcY6Q\nSLUQihoNnIq5jcL3TwvtTyrkfMdxHCczE7ZuzVu2bIFTT4UaNYq/thREShAmA78RkXewAPIOVV0v\nIp8CD4cFkn8F3KWqW0O54fthydUux1INO47jVByysmDbNivQcwv28EK+qPVduw6+18KF0LFjVM0t\nkSCIyNtYTb+RiKRgPYcSAVT1OeATbKj/MiyX+5jQsa0i8gcsfQTAg7kBZizL5CvYMP0pFBNQdhyn\nArJvH6xYAUuX2rJsmf1dvtwK02rV8i9Vqx68L5LHExOhsB7wWVmwfXvhhfihCvadh+gxXKkSNGiQ\ntzRrBp0723rDhvn/NmgAZdChplyNVO7du7d6UNmJCNnZsHgxTJ8OS5bYDz47G3Jy8v8tyXppj+eu\nV68OSUnQsuXBS1IS1Cynmaj377dCP7ewD1/WrIHwMqhBA2jfHtq1s8I7IyP/sm/fwfvCl+zs0ttb\nUCB27oQdO4o+XwTq1y+8EC9sPfdvnTomCmWAiMxQ1d7FnedzvjoVH1WrcSYnmwAkJ8PMmbB7tx2v\nVMl++AkJtp6QkH+9NPsSE0t+zZ49kJICs2fDxkLmwalfv3CxyBWMpCQrxIIgMxNWrsxf2OcKwOrV\nJnjhn6N9exg4EEaPtvVcEWjQoHR2ZGUdWjSKE5SC5+zbZwV3UbX2hg2hbt0yK9ijjQuCU7FQtUI1\nt+DP/bs9NPFX1arQo4cVRH36QO/ecOyxViDHEvv2QWoqrF2bf0lJsb8//GAuiYI0bly0YLRsCS1a\nmEgdCZmZsGpV/sI+d1m9On/tvG5dK+T79YPLLssr8Nu3t0I0WlSubEt5bU0FjLuMnPLNxo35C/7p\n02HTJjtWuTIcd1xewd+nj/loj7RAjDX27s0TiIKCkbsUdHWIQNOmhxaNffsOdu0sW2YtgPBCv06d\n/LX73PXcQt+z0cQMJXUZuSA45Ydt22DGjPyF/9rQuEcR64ERXvh36xacCyVW2LXr0IKxdq25qoqi\ndu3CC/x27aw14oV+ucBjCE75Zvdu8/OH1/6XLcs73q6d+aBzBaBnT6hVKzh7Y5XataFTJ1sKQ9Xc\naeFiUaVKXsF/1FFe6McRLghO8GRkwJw5+Wv+ixbl9T5p2dIK/iuvtL+9ellg0ik9uT1k6teHrl2D\ntsYJGBcEp2zJyIB586z2P2OGCcC8edY7BKxG2qcPjBiRV/tv0iRYmx0nTnBBcKLHrl1W8585M29Z\nuDAvMFmvnhX4d9yR5/dPSnIXheMEhAuCExm2bYNZs/IX/kuW5Ll9jjrKXD3Dhpm/v2dPaNXKC3/H\niSFcEJzDZ+PG/AX/zJnWPz2Xli2twL/44rzCv1kzL/wdJ8ZxQXCKRtV6ncycmb/2v25d3jnt2kHf\nvnD99Vbw9+gBjRoFZ7PjOEeMC4Jj5ORYvpmCNf/c0bCVKlk//1NOsUK/Z0/o3t1GpDqOUyFwQYhH\nsrIssVtuoT9rli25mRkTE6FLFzjnnDyXT9euUc/F7jhOsLggxAuq8OOP8PLL8M9/5qU0qF7dRvRe\nemlezb9zZ8v54zhOXOGCUNFZvx5efx1eecUGe1WvDhdcAL/8pRX+xx5rOX8cx4l7vCSoiOzfDx9/\nDBMmwH/+Y/3+BwyAF1+ECy+0pGSO4zgFKFESbxEZKiKLRWSZiIwr5HgrEflSROaKyDQRSQrtP0lE\nZoctGSJyTujYKyKyMuxY98h+tDhkzhwYO9ZSHJ9/vsUF7rgDfv4ZvvsOrr7axcBxnCIptoUgIgnA\n08AvgRRguohMVtWFYac9Crymqq+KyMnAH4HLVHUq0D10nwbYFJufhV13h6pOisxHiVO2bIG33rLY\nwKxZFhAePhzGjIFf/crdQY7jlJiSlBZ9gWWqugJARN4BhgPhgtAJuDW0PhX4sJD7XABMUdW9R26u\nA5gL6LPPTAQ++shcRD16wFNP2WCwaE5A4jhOhaUkLqMWwNqw7ZTQvnDmAOeF1s8FaotIwVJpFPB2\ngX3jQ26mv4pIod1aRORaEUkWkeS0tLQSmFuBWbIE7roLjj4azjgDvvrKBoTlDhr77W9dDBzHOWIi\nNRHo7cCJIjILOBFIBQ5MrSQizYDjgE/DrrkL6AD0ARoAdxZ2Y1V9QVV7q2rvxo0bR8jccsSuXfDS\nS3DCCdYj6C9/sdbApEk2xeKTT9oAMcdxnFJSEpdRKtAybDsptO8AqrqOUAtBRGoB56vq9rBTLgQ+\nUNXMsGvWh1b3icjLmKg4YKOGv/nGXEKTJtlUicceC3/6k81P27x50BZWGFTt9foUvI5TshbCdKC9\niLQRkSqY62dy+Aki0khEcu91FzChwD0uooC7KNRqQEQEOAeYf/jmVzDWrIE//MHyA510EnzwAVxy\nCfzvfzaG4M47XQwiyNatcNZZNtHaSSfBG29AenrQVjlOcBQrCKqaBfwGc/csAiaq6gIReVBEhoVO\nGwIsFpElQBNgfO71ItIaa2F8XeDWb4rIPGAe0Ah4qFSfpLySnm69hH75S2jdGn7/e/v72muwYQO8\n8AL07++ZQiNMcrKNy/viC7juOtPiyy6zpKw33GDHy9F0444TEUTL0be+d+/empycHLQZpUfVpomc\nMAHeecfSSLRqBaNHwxVXQJs2QVtYYVGF556z4RpNm5pHrk+fPC/dhAm2Lz0djjsOrrrKGmmewDV+\n2LzZUn0tXgyrV9v345RTbJB/eUVEZqhq72LPc0EoQ9LS4NVXLTawcCFUq2YDyK68EoYMsYyiTtTY\ns8c6Zb3xBpx+umX0KKxT1o4dptMvvWS6nTu046qrrCGXkFD2tjuRJTPTkvv+/LMV/Ll/Fy/OS/Ab\nTo0aNqxn+HBzM5a3CoILQqyxe7elj05JgX79bODYyJGePrqMWLzYtHfhQnjgAbjnnpLp77x51mp4\n/XUrKJKSrCE3Zgz84hdRN9spJeG1/fBCf/nyvGm8wVqLxx5rS4cOeX+bNYNvv7XhPpMn28+3UiUY\nONAm/xs+HNq3D+7zlRQXhFjjvvvgwQfh88/h1FODtiauePdda4RVq5YXrjlc9u+3AmHCBPj0U3Mx\nnXSStRrOO6/8uhNycvIym3z3nfVf2LXLasANG9rf3CV8O3y9du1gQ1wFa/vhhX94bb9KFSu8cwv8\n8MK/JPUyVRvuM3myCcScOba/Y0cThuHDba6oWGzouyDEEqmp9k08+2xLPe2UCfv3w+9+Z0M1+vWD\niRNtds/SkpJinr8JE6wgqlsXLrrIxKFXr9iO/6enmxssXAC2bbNjjRtbzbdRIytIN2/O/zc7u/B7\nJiYWLRZFCcmRiMiWLYUX+gVr+02a5K/l5xb+rVtH1t23alWeOHz9tb2fJk3sZz58eGzFHVwQYokr\nr4Q337RvsAeMy4SUFEvs+v33cPPNNp6vSpXIPiM3EP3SSxaIzsiweYSuvNKml4iFQeObNuUV/t99\nBzNmWI0arGY7cGDe0q5d0YV0To7FVnIFIlwsCq7nbhcnIodqdTRoYJ3swgv/wmr7BV08xxwD9epF\n9h2WhG3bYMoUE4cpU6yVVaMGnHaauZaCjju4IMQKs2db/8Zbb4VHHw3amrjgiy8spVN6uhXWF14Y\n/Wfu2AFvv22thunTrcDKDUSfemrZBKILun+++w6WLbNjVatab5ncwn/AgOgLVnEiUpioFBSRJk0O\nLvSjUduPJPv2wbRpea2H1NS8uMPw4SYQZR13cEGIBVTNYT1rlv0y69cP2qIKTU4OPPywDeXo2BHe\ne88KkLKmYCC6ZUsLRI8eHdlAdEH3z/ff22A7yHP/5C49e5aPSfDCRaRRo2Bq+5EkN+7w0Ue2zJ1r\n+8s67uCCEAt88gmceaY5sW+6KWhrKjRbt9rAsk8+sdbB88/bCOQg2bcP/vUva6V8+qkVDiefbC6l\nIwlEH8r906GDFfwnnFC8+8cJjsLiDk2bWtxh2LDoxR1cEIImK8vmKt6/HxYsiLwD2zlAcrLNCrpu\nnWnv9dfHXmG4dm1eIHrlSgtEX3yxuZR69jzY3lhz/ziRZ9s2q8BMnnxw3GH4cKtLRiru4IIQNM8/\nbyXT++/DuecGbU2FRNVe8803Wy3r3Xet+R3L5ORYzTB3RHRuIPqqq+zv998f7P5p1Civ8D/hhPLj\n/nFKTm7cIXe8Q8G4w/Dh1uo7UlwQgmTnzrwuEF9/HXvV1QpA+KjjoUPtb3mrJW/fnjciOvxrnev+\nyV3at/evUDxRVNxh+nToXWyRXjguCEFy770wfjz89JO17Z2IcqSjjmOZefPMrdS3b/lLi+BEl5Ur\nzaV03XVH3rPKBSEo1q61ztDnnWdjD2KM5cstq3a7dtYBqrzNAzBpkgVlq1Sxbp5HMurYceKNkgqC\nz8Aeae6919p8Dz8ctCUH2LvXumC+9JJ5sHKpVs36yA8fbr0cmjQJzsbiyMy0UcdPPBHZUceO4+RR\nzhvaMcbMmTaPwdixls46QFTNY3X99Zag6/LLbfTu+PHW9e2rr6wJOn8+XHONnTNggE3KtmhRbM0F\nkJpqyWCfeMJ67379tYuB40QDdxlFitxO5vPnW//AgLKYpqVZgHXCBDOlenUYMcJ6sQwadHBwUtX8\n17kBrBkzbH/79nmjKgcMCG5U6JdfWp6g9HT4xz8sQazjOIdHSV1GqGqxCzAUWAwsA8YVcrwV8CUw\nF5gGJIUdywZmh5bJYfvbAD+G7vlPoEpxdvTq1UtjlsmTVUH1738v80dnZan++9+q55+vmphoZhx/\nvOrzz6vu2HF491q7VvWZZ1RPOy3vXo0aqY4erfrBB6q7d0fnMxQkO1v1oYdUK1VS7dRJddGisnmu\n41REgGQtSVlf7AmQACwHfgFUAeYAnQqc8y5wRWj9ZOD1sGO7i7jvRGBUaP054IbibIlZQdi/X/XY\nY23Zv7/MHrtsmerdd6u2aJFXcN96q+q8eZG5/44dqhMnql5yiWq9evaMatVUzzpL9cUXVTdsiMxz\nCrJli+oZZ9jzLr5Yddeu6DzHceKFSApCf+DTsO27gLsKnLMAaBlaF2Bn2LGDBCF0zmagcmHPKGqJ\nWUF4+ml7lR99FPVH7dmj+tprqieeaI+sVMkKz/feU923L3rP3b9f9csvVW+6SbVVK3u2iGr//qp/\n/KPqwoWqOTmlf8706Xb/xER7rZG4p+PEO5EUhAuAf4RtXwb8vcA5bwE3h9bPAxRoGNrOApKBH4Bz\nQvsaAcvCrm8JzC/i+deGrk8++uijo//mDpft261qPmRI1EqvnBzVH39Uve461Tp17L/Wtq3q+PGq\nKSlReWSx9syZo/rgg6q9epk9oNq+vertt6t+8425sQ73ns89p1qliurRR9vndRwnMpS1IDQH3gdm\nAU8CKUC90LEWob+/AFYBbQ9HEMKXmGwh3HmnvcYZMyJ+602bVB9/XLVLF3tE9eqql1+uOm1abNWc\nSxt32L1b9bLL7LqhQ1U3by4bux0nXihTl1GB82sBKUUceyUkMBXDZbRqlWrVqlaaRYisLNVPPskf\nIO7b1wLE27dH7DFRY8cO1X/+03z/JYk7LF5sgiei+sADFkx2HCeylFQQSjIwbTrQXkTaAKnAKODi\n8BNEpBGwVVVzQoIxIbS/PrBXVfeFzhkI/EVVVUSmhsThHeAK4KMS2BJb3H239eMcP77Ut1q+HF5+\nGV55xfrdN2oEv/mNjcrt0qX0ppYVderYhDQXXmiDyXInKP/oI/j4Y3td/fpZd9bGjeGWW2zU8X/+\nA7/6VdDWO06cUxLVAM4AlmC9je4J7XsQGKZ5bqWloXP+AVQN7R8AzMN6Js0Drgq75y+An7Bup+/m\nXnOoJaZaCD/9ZNXfu+8+4lvkBoiHDNF8AeJJk6IbIA6CouIOxx+vumZN0NY5TsWGErYQfGDakaAK\nJ55oWdaWLbMZww/j0unTbeDY229bYtS2ba0lcPnlkJQURbtjiJQUGxB3yik+VYTjRBvPZRRNPvzQ\nfCHPPVdiMShsBPEFF+SNIC7v2ToPl6Sk+BE/xykvuCAcLvv3W5a1Tp2sND8E2dnw2WeWVG7yZPOp\n9+ljOjJqVGDZLRzHcQrFBeFwee45cxP9+99QufDXV1ECxI7jxBcuCIfD9u02I8spp8Dpp+c7lJti\nesIEmwqvUiWbyevJJy21tPvJHceJdVwQDofx421m7MceAxFUberDl17KHyAePz6+AsSOcyRkZmaS\nkpJCRkZG0KZUGKpVq0ZSUhKJiYlHdL0LQklZuRKeegpGj2Zzi2688YS1BubN8wCx4xwJKSkp1K5d\nm9atWyM+aXSpUVW2bNlCSkoKbdq0OaJ7uCCUkOw77+YzOYMJm57mo+YWIO7b1wPEjnOkZGRkuBhE\nEBGhYcOGpKWlHfE9XBCKYflyePmhFF559xFSSaLRjx4gdpxI4WIQWUr7Pl0QCmHvXnj/fYsNTJsG\nlWjGaVWm8eSEhpw9oroHiB3HqZC4tztE7gjiG26w+YUvuwzWrIGHRs1nNa345OmVnH+Ji4HjVBS2\nb9/OM888c9jXnXHGGWzfvj0KFgVP3AvC5s02eXu3bhYTePVVm0t46lRYOn8f9/w0nKQu9WHMmKBN\ndRwnghQlCFlZWYe87pNPPqFevXrRMitQ4tJllJ0Nn39uLqGPPjpEgPivz8CKFZaKM6hZ5h0nHhg7\nFmbPjuw9u3e32l4RjBs3juXLl9O9e3cSExOpVq0a9evX5+eff2bJkiWcc845rF27loyMDG6++Wau\nvfZaAFq3bk1ycjK7d+/m9NNP54QTTuB///sfLVq04KOPPqJ69eqR/RxlSFwJwooVeSOIU1LyRhCP\nGQPHHVfg5K1b4Q9/gNNOs8VxnArFn/70J+bPn8/s2bOZNm0aZ555JvPnzz/QZXPChAk0aNCA9PR0\n+vTpw/nnn0/Dhg3z3WPp0qW8/fbbvPjii1x44YW89957XHrppUF8nIgQF4Lwz3/C88+bG6hSJSvf\nn3iimBHEDz0EO3bAI4+Uqa2OE5ccoiZfVvTt2zdf//2nnnqKDz74AIC1a9eydOnSgwShTZs2dO/e\nHYBevXqxatWqMrM3GsSFILz3HqxebWX8FVeUYATxsmXw979b39KDmg6O41REataseWB92rRpfPHF\nF3z//ffUqFGDIUOGFDqiumrVqgfWExISSE9PLxNbo0VcCMILL9hMXiUeQTxunDUdHnwwqnY5jhMc\ntWvXZteuXYUe27FjB/Xr16dGjRr8/PPP/PDDD2VsXTCUqIgUkaEislhElonIuEKOtxKRL0VkrohM\nE5Gk0P7uIvK9iCwIHRsZds0rIrJSRGaHlu6R+1j5qVfvMMTgu++sSfG731n/U8dxKiQNGzZk4MCB\ndOnShTvuuCPfsaFDh5KVlUXHjh0ZN24c/fr1C8jKsqXYGdNEJAGbGvOXQAo2x/JFqrow7Jx3gY9V\n9VURORkYo6qXicgxgKrqUhFpDswAOqrqdhF5JXTNpJIaG/UZ01Shf39YuxaWLIGwJqTjOJFl0aJF\ndOzYMWgzKhyFvdeSzphWknpzX2CZqq5Q1f3AO8DwAud0Ar4KrU/NPa6qS1R1aWh9HbAJaFyCZwbD\nxInw44+WrtTFwHGcOKMkgtACWBu2nRLaF84c4LzQ+rlAbRHJF44Xkb5AFWB52O7xIVfSX0WkKoUg\nIteKSLKIJJcmaVOxZGRY7KBbNxum7DiOE2dEaqTy7cCJIjILOBFIBbJzD4pIM+B1zJWUE9p9F9AB\n6AM0AO4s7Maq+oKq9lbV3o0bR7Fx8be/wapVNteBD0JzHCcOKUkvo1SgZdh2UmjfAULuoPMARKQW\ncL6qbg9t1wH+Ddyjqj+EXbM+tLpPRF7GRCUYNm82N9EZZ9hsaI7jOHFISVoI04H2ItJGRKoAo4DJ\n4SeISCMRyb3XXcCE0P4qwAfAawWDx6FWA2L5Ws8B5pfmg5SKBx+E3bt9EJrjOHFNsYKgqlnAb4BP\ngUXARFVdICIPisiw0GlDgMUisgRoAowP7b8QGAyMLqR76ZsiMg+YBzQCHorUhzosliyBZ5+Fa66B\nTp0CMcFxHCcWKFEMQVU/UdVjVLWtqo4P7fu9qk4OrU9S1fahc65W1X2h/W+oaqKqdg9bZoeOnayq\nx6lqF1W9VFV3R+tDHpI774Rq1eD++wN5vOM45YdatWoBsG7dOi644IJCzxkyZAjFdY9/4okn2Lt3\n74HtWEmpHd/pr7/+Gj78EO66C5o0Cdoax3HKCc2bN2fSpBIPoTqIgoIQKym14yJ1RaHk5MDtt1ti\no7Fjg7bGceKaALJfA5YCu2XLltx4440A3H///VSuXJmpU6eybds2MjMzeeihhxg+PP/Qq1WrVnHW\nWWcxf/580tPTGTNmDHPmzKFDhw758hndcMMNTJ8+nfT0dC644AIeeOABnnrqKdatW8dJJ51Eo0aN\nmDp16oGU2o0aNeLxxx9nwoQJAFx99dWMHTuWVatWlUmq7fhtIbz9NiQnw8MPQ40aQVvjOE4AjBw5\nkokTJx7YnjhxIldccQUffPABM2fOZOrUqdx2220cKqPDs88+S40aNVi0aBEPPPAAM2bMOHBs/Pjx\nJCcnM3fuXL7++mvmzp3LTTfdRPPmzZk6dSpTp07Nd68ZM2bw8ssv8+OPP/LDDz/w4osvMmvWLMBS\nbd94440sWLCAevXq8d5770X4bcRrCyE9He6+G3r2hEsuCdoax4l7gsp+3aNHDzZt2sS6detIS0uj\nfv36NG3alFtuuYVvvvmGSpUqkZqaysaNG2natGmh9/jmm2+46aabAOjatStdu3Y9cGzixIm88MIL\nZGVlsX79ehYuXJjveEH++9//cu655x7IvHreeefx7bffMmzYsDJJtR2fgvDkkzZh8quvHkbWO8dx\nKiIjRoxg0qRJbNiwgZEjR/Lmm2+SlpbGjBkzSExMpHXr1oWmvi6OlStX8uijjzJ9+nTq16/P6NGj\nj+g+uZRFqu34Kw03bTI30bBhMGRI0NY4jhMwI0eO5J133mHSpEmMGDGCHTt2cNRRR5GYmMjUqVNZ\nvXr1Ia8fPHgwb731FgDz589n7ty5AOzcuZOaNWtSt25dNm7cyJQpUw5cU1Tq7UGDBvHhhx+yd+9e\n9uzZwwcffMCgQYMi+GkPTfy1EB54APbuhT//OWhLHMeJATp37syuXbto0aIFzZo145JLLuHss8/m\nuOOOo3fv3nTo0OGQ199www2MGTOGjh070rFjR3r16gVAt27d6NGjBx06dKBly5YMHDjwwDXXXnst\nQ4cOPRBLyKVnz56MHj2avn37AhZU7tGjR5nNxFZs+utYotTprxctshnQrr/eZkRzHCcwPP11dIh2\n+uuKw513Wlrr++4L2hLHcZyYI35cRlOnwr/+BX/6E0Qza6rjOE45JT5aCDk5cNttcPTRcPPNQVvj\nOP6jTHsAAAOCSURBVE6I8uSyLg+U9n3GRwvhjTdg1ix4803LW+Q4TuBUq1aNLVu20LBhQyzpsVMa\nVJUtW7ZQrRRlXHwIwmuvQZ8+MGpU0JY4jhMiKSmJlJQUojoTYpxRrVo1kpKSjvj6+BCEKVNg40Yf\nhOY4MURiYiJt2rQJ2gwnjPgoIRMTLYmd4ziOUyTxIQiO4zhOsbggOI7jOEA5G6ksImnAoROLFE0j\nYHMEzSnv+PvIw99Ffvx95KcivI9WqlrsAKxyJQilQUSSSzJ0O17w95GHv4v8+PvITzy9D3cZOY7j\nOIALguM4jhMingThhaANiDH8feTh7yI//j7yEzfvI25iCI7jOM6hiacWguM4jnMIXBAcx3EcIE4E\nQUSGishiEVkmIuOCticoRKSliEwVkYUiskBEPBc4ICIJIjJLRD4O2pagEZF6IjJJRH4WkUUi0j9o\nm4JCRG4J/U7mi8jbIlLhUyVXeEEQkQTgaeB0oBNwkYh0CtaqwMgCblPVTkA/4MY4fhfh3AwsCtqI\nGOFJ4D+q2gHoRpy+FxFpAdwE9FbVLkACUOHTJVd4QQD6AstUdYWq7gfeAYYHbFMgqOp6VZ0ZWt+F\n/dhbBGtVsIhIEnAm8I+gbQkaEakLDAZeAlDV/aq6PVirAqUyUF1EKgM1gHUB2xN14kEQWgBrw7ZT\niPNCEEBEWgM9gB+DtSRwngB+B+QEbUgM0AZIA14OudD+ISI1gzYqCFQ1FXgUWAOsB3ao6mfBWhV9\n4kEQnAKISC3gPWCsqu4M2p6gEJGzgE2qOiNoW2KEykBP4FlV7QHsAeIy5iYi9TFPQhugOVBTRC4N\n1qroEw+CkAq0DNtOCu2LS0QkERODN1X1/aDtCZiBwDARWYW5Ek8WkTeCNSlQUoAUVc1tNU7CBCIe\nORVYqappqpoJvA8MCNimqBMPgjAdaC8ibUSkChYYmhywTYEgNnHtS8AiVX08aHuCRlXvUtUkVW2N\nfS++UtUKXwssClXdAKwVkWNDu04BFgZoUpCsAfqJSI3Q7+YU4iDAXuGn0FTVLBH5DfAp1lNggqou\nCNisoBgIXAbME5HZoX13q+onAdrkxBa/Bd4MVZ5WAGMCticQVPVHEZkEzMR6580iDlJYeOoKx3Ec\nB4gPl5HjOI5TAlwQHMdxHMAFwXEcxwnhguA4juMALgiO4zhOCBcEx3EcB3BBcBzHcUL8P7qNggog\n+sfEAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe22cdd49d0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: inceptionv3-dot-final.h5 ===\n",
      "\n",
      "Accuracy: 0.943\n",
      "\n",
      "Confusion Matrix\n",
      "[[392  38]\n",
      " [  8 362]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.98      0.91      0.94       430\n",
      "          1       0.91      0.98      0.94       370\n",
      "\n",
      "avg / total       0.95      0.94      0.94       800\n",
      "\n",
      "=== Evaluating model: inceptionv3-dot-best.h5 ===\n",
      "\n",
      "Accuracy: 0.958\n",
      "\n",
      "Confusion Matrix\n",
      "[[398  26]\n",
      " [  8 368]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.98      0.94      0.96       424\n",
      "          1       0.93      0.98      0.96       376\n",
      "\n",
      "avg / total       0.96      0.96      0.96       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"dot\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[0, 1] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Elementwise Absolute Difference"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(10,) (10,)\n",
      "(10,)\n"
     ]
    }
   ],
   "source": [
    "def absdiff(vecs):\n",
    "    x, y = vecs\n",
    "    return K.abs(K.sum(K.stack([x, -y], axis=1), axis=1))\n",
    "\n",
    "def absdiff_output_shape(shapes):\n",
    "    return shapes[0]\n",
    "\n",
    "vecs = [np.random.random((10,)), np.random.random((10,))]\n",
    "print(vecs[0].shape, vecs[1].shape)\n",
    "s = absdiff(vecs)\n",
    "print(s.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Lambda(absdiff, output_shape=absdiff_output_shape)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 1s - loss: 0.6023 - acc: 0.6847 - val_loss: 0.4509 - val_acc: 0.8073\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.3610 - acc: 0.8448 - val_loss: 0.3519 - val_acc: 0.8359\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.2809 - acc: 0.8892 - val_loss: 0.3107 - val_acc: 0.8828\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.2154 - acc: 0.9215 - val_loss: 0.3748 - val_acc: 0.8568\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.1573 - acc: 0.9420 - val_loss: 0.2560 - val_acc: 0.9062\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.1165 - acc: 0.9594 - val_loss: 0.2566 - val_acc: 0.9010\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.1256 - acc: 0.9500 - val_loss: 0.2763 - val_acc: 0.9141\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.0678 - acc: 0.9795 - val_loss: 0.3462 - val_acc: 0.8750\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0869 - acc: 0.9653 - val_loss: 0.3707 - val_acc: 0.9036\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.0840 - acc: 0.9674 - val_loss: 0.3131 - val_acc: 0.8932\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"l1\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJztnXl4VPX1/1+HgEZ2CPsatCphX8KiyCZqES0CighuWJVq\nXerSWuxirdVqf7UWdwtW68JSvgHUWlyqgDtKQEQ2BWULO2HfJCTn98eZYRIISch2MzPn9Tz3mZl7\n79w5czN533PP53zOEVXFcRzHiS0qBW2A4ziOU/q4uDuO48QgLu6O4zgxiIu74zhODOLi7jiOE4O4\nuDuO48QgLu6O4zgxiIu7E/OIyGoROS9oOxynPHFxdxzHiUFc3J24RURuFJGVIrJdRN4QkSah9SIi\nfxeRLSKyW0S+FpF2oW2DRGSpiOwRkfUi8stgv4Xj5I+LuxOXiMi5wMPA5UBjYA0wJbT5AqAPcAZQ\nK7RPZmjbP4GfqWoNoB0wqxzNdpwiUzloAxwnIK4EXlDVBQAici+wQ0SSgSygBtAa+EJVl+V6XxbQ\nRkS+UtUdwI5ytdpxioh77k680gTz1gFQ1b2Yd95UVWcBTwFPA1tEZLyI1AzteikwCFgjIh+IyFnl\nbLfjFAkXdyde2QC0DL8QkWpAErAeQFWfUNWuQBssPPOr0Pp5qnoJ0AB4DZhaznY7TpFwcXfihSoi\nkhhegMnAdSLSSUROBv4MfK6qq0Wkm4j0EJEqwD7gIJAjIieJyJUiUktVs4DdQE5g38hxCsDF3YkX\nZgIHci39gN8D04CNwGnAFaF9awITsHj6Gixc89fQtquB1SKyG7gJi907ToVDvFmH4zhO7OGeu+M4\nTgzi4u44jhODuLg7juPEIC7ujuM4MUhgM1Tr1aunycnJQX284zhOVDJ//vxtqlq/sP0CE/fk5GTS\n09OD+njHcZyoRETWFL5XEcMyIjJQRL4JVdAbe5x9Lg9Vy1siIpNOxFjHcRyndCnUcxeRBKzGxvlA\nBjBPRN5Q1aW59jkduBfopao7RKRBWRkMwL59UK1amX6E4zhONFMUz707sFJVv1fVQ1hZ1EuO2udG\n4OlQlTxUdUvpmpmL556DNm1g06Yy+wjHcZxopygx96bAulyvM4AeR+1zBoCIfAIkAPer6ttHH0hE\nxgBjAFq0aFEce6FHD9i2DYYMgTlzIDGxeMdxHKdUycrKIiMjg4MHDwZtSkyQmJhIs2bNqFKlSrHe\nX1oDqpWB07F6Hc2AD0WkvaruzL2Tqo4HxgOkpqYWr+5B587wyitw6aVw/fXw6qsgUiLjHccpORkZ\nGdSoUYPk5GTE/ydLhKqSmZlJRkYGrVq1KtYxihKWWQ80z/W6WWhdbjKAN1Q1S1VXAd9iYl82DBsG\nDz4IkybBww+X2cc4jlN0Dh48SFJSkgt7KSAiJCUlleguqCjiPg84XURaichJWOW8N47a5zXMa0dE\n6mFhmu+LbVVR+M1vYNQo+O1vYfr0Mv0ox3GKhgt76VHSc1mouKvqYeBW4B1gGTBVVZeIyAMiMji0\n2ztApogsBWYDv1LVzPyPWEqIwD//aTH4q6+GL78s049zHMeJJoqU566qM1X1DFU9TVUfCq27T1Xf\nCD1XVb1LVduoantVnVLwEUuJxER47TVISoLBgz2DxnHimJ07d/LMM8+c8PsGDRrEzp07C98xyoj+\n2jKNGsEbb8D27ZZB4yP1jhOXHE/cDx8+XOD7Zs6cSe3atcvKrMCIfnEH6NTJsmY+/9wyaLwBiePE\nHWPHjuW7776jU6dOdOvWjd69ezN48GDatGkDwJAhQ+jatStt27Zl/PjxR96XnJzMtm3bWL16NSkp\nKdx44420bduWCy64gAMHDgT1dUpMYLVlSp2hQ+Ghh2yAtU0be3QcJxjuuAMWLizdY3bqBOPGHXfz\nI488wuLFi1m4cCFz5szhoosuYvHixUdSCV944QXq1q3LgQMH6NatG5deeilJSUl5jrFixQomT57M\nhAkTuPzyy5k2bRpXXXVV6X6PciJ2xB3g3nth6VL43e8gJcVSJh3HiUu6d++eJ0f8iSeeYMaMGQCs\nW7eOFStWHCPurVq1olOnTgB07dqV1atXl5u9pU1sibsIPP88rFxpGTStWtmkJ8dxypcCPOzyolqu\n+lNz5szhvffe47PPPqNq1ar069cv3xzyk08++cjzhISEqA7LxEbMPTdHZ9Bs3Bi0RY7jlAM1atRg\nz549+W7btWsXderUoWrVqixfvpy5c+eWs3XlT+yJO+TNoBk6FKL46us4TtFISkqiV69etGvXjl/9\n6ld5tg0cOJDDhw+TkpLC2LFj6dmzZ0BWlh+iAWWWpKamapk365gxw+LuI0fCxIleg8ZxypBly5aR\nkpIStBkxRX7nVETmq2pqYe+NTc89TDiDZvJk+POfg7bGcRyn3IitAdX88Awax3HikNj23CGSQdOz\np9egcRwnboh9cQfLoJkxwzNoHMeJG+JD3OHYGjSeQeM4TgwTP+IOkRo0X3zhNWgcx4lp4kvcwTJo\n/vxnz6BxnDinevXqAGzYsIHLLrss33369etHYSnb48aNY//+/UdeV5QSwvEn7gBjx8JVV1kGzbRp\nQVvjOE6ANGnShLS0tGK//2hxryglhONT3EVgwgTLoLnmGliwIGiLHMcpIWPHjuXpp58+8vr+++/n\nwQcfZMCAAXTp0oX27dvz+uuvH/O+1atX065dOwAOHDjAFVdcQUpKCkOHDs1TW+bmm28mNTWVtm3b\n8oc//AGwYmQbNmygf//+9O/fH4iUEAZ47LHHaNeuHe3atWNcqN5OeZUWjv089+MRrkHTrZtl0Myb\nB40bB22V48QEAVT8ZcSIEdxxxx3ccsstAEydOpV33nmH22+/nZo1a7Jt2zZ69uzJ4MGDj9uf9Nln\nn6Vq1aosW7aMRYsW0aVLlyPbHnroIerWrUt2djYDBgxg0aJF3H777Tz22GPMnj2bevXq5TnW/Pnz\nefHFF/n8889RVXr06EHfvn2pU6dOuZQWjjrP/Ztv4KmnSqnhUsOG8J//wM6dnkHjOFFO586d2bJl\nCxs2bOCrr76iTp06NGrUiN/85jd06NCB8847j/Xr17N58+bjHuPDDz88IrIdOnSgQ4cOR7ZNnTqV\nLl260LlzZ5YsWcLSpUsLtOfjjz9m6NChVKtWjerVqzNs2DA++ugjoHxKC0ed5z51Ktx3n42F3nMP\njBkDVauW4IAdO1oGzdCh8NOfwqRJXoPGcUpIUBV/hw8fTlpaGps2bWLEiBFMnDiRrVu3Mn/+fKpU\nqUJycnK+pX4LY9WqVTz66KPMmzePOnXqMHr06GIdJ0x5lBaOOs/9d7+D2bOhdWu4804r2f7Xv8Le\nvSU46JAhdrWYMsVq0TiOE5WMGDGCKVOmkJaWxvDhw9m1axcNGjSgSpUqzJ49mzVr1hT4/j59+jBp\n0iQAFi9ezKJFiwDYvXs31apVo1atWmzevJm33nrryHuOV2q4d+/evPbaa+zfv599+/YxY8YMevfu\nXYrftmCiTtxFoF8/mDULPvzQHO977oHkZHj4Ydi9u5gHDmfQ/P73nkHjOFFK27Zt2bNnD02bNqVx\n48ZceeWVpKen0759e15++WVat25d4Ptvvvlm9u7dS0pKCvfddx9du3YFoGPHjnTu3JnWrVszatQo\nevXqdeQ9Y8aMYeDAgUcGVMN06dKF0aNH0717d3r06MENN9xA53JsHhQTJX/nzoU//QlmzoQ6dcyj\nv+02OOFspIMHoX9/+Oor+PhjyDWY4jhOwXjJ39In7kv+9uwJ//2vJbz07m0x+eRk+MMfrNpAkQln\n0NSr5zVoHMeJamJC3MOkpsLrr1va+oAB8MADJvK//S2E0k4LJ3cGzSWXeAaN4zhRSZHEXUQGisg3\nIrJSRMYWsN+lIqIiUugtQ1nSubOFzRctggsvtFh8crLF5gvIgooQzqCZN88yaLwGjeMUiaDCvLFI\nSc9loeIuIgnA08CFQBtgpIi0yWe/GsAvgM9LZFEp0r49/PvfsGSJJcT87W+WXXPXXUWIuAwZYlcF\nz6BxnCKRmJhIZmamC3wpoKpkZmaSmJhY7GMUOqAqImcB96vqj0Ov7w19+MNH7TcO+B/wK+CXqlrg\naGm59FA9im+/tYzHV1+FypUtR/6ee6BZs+O8QRWuvRZeeQXS0uDSS8vVXseJJrKyssjIyChR/rcT\nITExkWbNmlGlSpU864s6oFoUcb8MGKiqN4ReXw30UNVbc+3TBfitql4qInM4jriLyBhgDECLFi26\nFpZzWlZ895055S+9BJUqWfXfX/8aWrbMZ+eDB+Hcc20utWfQOI4TMOWWLSMilYDHgLsL21dVx6tq\nqqqm1q9fv6QfXWxOO806761YYSH155+HH/0IbrwRvv/+qJ3DXZzq1/cMGsdxooaiiPt6oHmu181C\n68LUANoBc0RkNdATeCPoQdWikJwMzz5rnvxNN1n05Ywz4LrrTPiP0LChdXHyDBrHcaKEooj7POB0\nEWklIicBVwBvhDeq6i5VraeqyaqaDMwFBhcWc69ING8OTz5pXvttt9kYauvW1k97+fLQTh07wsSJ\nkJ7uGTS5OHgQ3nzTqgCmpflpcZyKQqHirqqHgVuBd4BlwFRVXSIiD4jI4LI2sDxp0gT+/ndYtcoy\naqZPhzZtYORIy7jhkksiNWgefDBocwNjzx7LQrriCotW/eQnVqlz+HCbX7BkSdAWOvGIKmzZYhnM\naWnw6KPmrA0ebL5Z3br2eO+9VrokKytoi8uWmCg/UFZs3Wpi/+STVpjs0kvh979TOj4WyqB5+WWr\nRxMHVSS3bbPI1PTp8N578MMP0KCBZYwOHQp9+8KLL1pht9274dZb4f77i1ECwnGOQ3Y2bNgAa9bk\nXVavtse1a4+NmNasaYkSLVtaVtyyZfDJJ3D4MNSqBeefb3NhBg405y4aKLVsmbIiGsQ9zPbtVsL0\n8cdNuC75STa/X3MjXRe9CCkpllN59dWQlBS0qaXKunVWjWH6dPN0cnLsn2TYMBP0s8+GhIS879m2\nzQR+/Hjz6h95xLJJK8XUXGinLDh0yH5zYbE+elm3zkQ5N/XrR8Q795KcbI/5ORe7dpmD8tZbtmzY\nYOs7dTKhv/BCOOssS5euiLi4lwE7d8ITT5g3v3Mn9PrRZs7a9z+6bXyD1JO+ptWlXZCfjYE+faLW\nm//mG0sOmj7dbm/BQlPDhtnSqVPRvtqCBea9f/YZ9Ohhdz/dupWt7U7FZt++/D3u8LJxY94xGxHz\npnOLde6lRQuoVq1kNqnaTPaw0H/yid0h1K6d16uvSE3aXNzLkN274emnzatduNA8DoC6sp1UnUe3\nut+TOrgJ3e7qTdP2dYM1thBU4csvI4Iebi7Tvbt550OHwplnFu/YOTk2YeyeeywW+tOf2vyCALNg\nnXJk1y77XU2ZYnkImZl5t1epYskM+Xnc4TDKSSeVr807d+b16sOZz507R7z6nj2D9epd3MuJQ4dg\n8WLzctPnHmbe+7tZvK4m2aEmV40Td5DaOZtuA5NI7SakpgYvbtnZ8OmnJuYzZpjXVKmSxc2HDrU4\nevPmhR+nqOzebUXcHn/cPK0HHoCf/7zi3vY6xefAAavQOnmyPf7wgwn2+edb6Y/cQt648bFhvYpE\n2KufOdOE/tNPI179BRdEvPpGjcrXLhf3ADlwABZO+470579k3qeHSc/qwHJao6HkpJYtLUSRmmqP\nXbva4E5ZcuiQNTiZPt0qZ27ZYl7RBReYoA8ebJWOy5Jly+D2280zat/eQjV9+5btZzplT1aW/U0n\nT7a72T17bGrIiBGWadajR9RGKfOwcyf8738Rr37TJlvfpYsJ/aBB9l3L+oLl4l5ROHAA0tLY/cyr\nfDn3IPMq9SS96SXMO9yJ7zdGmr+ecUZE7FNT7TawpPHEffvg7bdN0N980zzo6tXhoossfn7hhVCj\nRgm/3wmiancLd91ldwwjRljK2nHr+zgVkpwcq8YxeTL83/9ZyKVWLcsoGzXKuqVVZK+8pKhaSDYs\n9J99Zl59nTrmMA0aBD/+sV3kShsX94rI0qVW6+Cll2D7dra37Ez6ufeQ3vAi5i2vQXo6ZGTYrpUq\n2UBmbg+/QwfI1Vc3X7ZvNyGfPh3eeccmGSUlWYr+sGGWh16CQnOlxv798Je/2JKQYBk2d91V+Pdz\ngkPVBsonT7Z5DhkZcMopdtc3cqSFKOL177djR8Srf/vtiFfftWvEq+/evXQueC7uFZmDB019x4+H\nDz6w4PMll8CYMWxsex7pCyqRnm5x/HnzIo1GqlQxgQ+LfbdudgHYssVuh2fMsObh2dnmCQ8daoJ+\nzjkVN74dnjD22mtW32fcOLuzcCoOy5eboE+ebGU5qlQxr3TkSBP26tWDtrBikZNzrFefk2OTqMJe\n/cCBxR97K6q4o6qBLF27dlVHVZcvV737btWkJFVQbdVK9aGHVDdsUFXVnBzV1atV09JUf/1r1QED\nVGvVsl1BNTEx8vyMM1THjlX94gt7XzTxzjuqZ55p3+Oii1RXrAjaovhmzRrVv/xFtVMn+5uIqPbv\nrzp+vGpmZtDWRReZmapTpqhee61qgwZ2Pp94ovjHA9K1CBrrnntF4YcfzH0dP95GPhMSzC0aM8ZS\nDXLdz+XkWLGzefNg/nyL8w0bZvOponng6tAhm0fwxz/a81/+En7zm5KPPThFY8sWi59Pnmz53mCh\nhJEj4fLLo2cGZ0UmJ8dSj5s3txnexcHDMtHMihUWm3/xRauB0LIl3HCDlats2jRo68qcDRusvv6r\nr1p46dFHTVyi+cJVUQnnok+eDO+/byG9tm1N0K+4wspjOxULF/dY4NAhy1scP95yzRISLCA9ZowF\n7WI5HQHzHm+91eKX/fqZV9++fdBWRT/Hy0UfOdIWP8cVGxf3WOO77yLe/ObNdl93/fU27bM0ZxxV\nMLKzYcIE+O1vzcu85RYL23hBshMjXnLR4wEX91glKwv+8x/z5t991/4jzzvPEoyHDCl+IK+Ck5lp\n6ZL/+IdNtnrkERg92guSFcTBg/DFF3lz0WvXtp/KyJGxn4seq7i4xwOrVsE//2lJxytXmtL16WP/\nvcOGxeQI2IIFVqP7009tsO/JJ+0xXlA1r3vjxsKXnTvtPVWrRnLRf/zj+M1FjxVc3OMJVfj6a5g2\nzboUhKt/nX22Cf2llx6n+3d0ohopSLZpU6QgWTTftKiaZ10U0d6//9j3n3yy1Wo5ejnjDJtE47no\nsYOLezyzfHlE6BcutHWpqRGhP/30YO0rJXbvhj/9ySY+VatmsfhbbqlYE7YOH7YUw8IEe9Om/DsD\n1aiRv2gfvdSu7THzeMHF3TG++85mw6alWQAWbJprWOjbtIl6VVi+3AqS/e9/1vs2XKI4Mr0rspTX\n+kOHTLC3brXc5qNJSiqaaHuOv3M0Lu7OsaxbFxH6Tz4xFTrzTLjsMhP6onbiqICoWhbI//t/VjBN\nJPJVws+PXspyW5Uqlo2Sn2A3alT+dcqd2MHF3SmYjRtNDdPSYM4ccy9PPTXi0XfvHrVC7zixjIu7\nU3S2bbPJUmlpNk0xK8umhoaFPr9mqY7jBIKLu1M8du60PPq0NKsZ/MMPFl8YNsyEvm/fijVi6Thx\nhou7U3L27LEeY2lp9rh/v40EDhliQj9ggAePHaeccXF3Spf9+82TT0szz37PHmu9M3iwCf0FF1jn\nBsdxypSiinuRJm+LyEAR+UZEVorI2Hy23yUiS0VkkYi8LyKxM2PGMapWte4fEydaft+bb9rrN9+M\nlD249FKbMbthQ9DWOk7cU6jnLiIJwLfA+UAGMA8YqapLc+3TH/hcVfeLyM1AP1UdUdBx3XOPEbKy\nLNtm2jQrMRjuE9ipk7WcCXcN9ji945QKpem5dwdWqur3qnoImAJcknsHVZ2tquFJ0XMBb3ccL1Sp\nYs1EnnsO1q6FRYusqlfNmtYg9ZxzzKsfORJeecW8fsdxypyiuFNNgXW5XmcAPQrY/3rgrfw2iMgY\nYAxAixYtimiiEzWIWDHw9u2t28bOnTZtdOZMayY5ZYrt061bxKvv2tVLOzpOGVCq/1UichWQCvw1\nv+2qOl5VU1U1tX5xu8M60UPt2jB8uNWg37AB0tOtAEylSvbYvbtN17z2WqtsuWNH0BY7TsxQFM99\nPZC7G0Sz0Lo8iMh5wG+Bvqr6Q+mY58QMlSqZl961K/z+9zZx6p13zKt/8014+WXb5+yzI159hw4+\nS9ZxiklRBlQrYwOqAzBRnweMUtUlufbpDKQBA1V1RVE+2AdUnSNkZ1tRs5kzbVmwwNY3bWr1agcN\nsoYkNWoEa6fjVABKNc9dRAYB44AE4AVVfUhEHgDSVfUNEXkPaA9sDL1lraoOLuiYLu7Ocdm4Ed5+\n24T+3Xettm+VKtC7d8Srb93avXonLvFJTE5skJVlbZfCXv3ixbY+OTki9P37Wx6+48QBLu5ObLJ2\nrWXezJxpHZ/374fERGsIOmiQhXFOO829eidmcXF3Yp8ffoAPP4x49d9+a+sbNLCB29TUyBKD/WSd\n+MTF3Yk/Vq60vPp58yztcsmSSBukxo1N5HOLfsOGwdrrOMWgqOLuc8Kd2OFHP7Ll5pvt9f791kM2\nPd2W+fMt7TLs0DRrlte779oV6tULzn7HKUVc3J3YpWpVy5s/++zIuj178gp+erp1pArTsuWxgl+n\nTvnb7jglxMXdiS9q1LCUyt69I+t27YIvv8wr+NOmRbafempewe/SxcodO04FxsXdcWrVsmybfv0i\n67Zvt8lU8+eb2H/xBUydGtl+xhl5Y/idO5f+JKvsbOv2vXdv8R+rVrVa+xdeaBcpJ27wAVXHKSrb\ntkXEPhzDXxeqqSdiE6vC3n1KiuXoh0W2OMJ88OCJ2VetGlSvnvdx82b4/nvbfuaZkRm/ffrAySeX\n7vlxygXPlnGc8mDz5ryCn55uM2yPR6VK+Ytwfo9F2Sf8eMopx6+uuWJFZG7AnDmWQlq1qrVJvPBC\nW5KTy+LsOGWAi7vjBMWGDZZzf8opx4pwYmKwE6z274fZsyNzA1avtvUpKZFJYL17e2/cCoyLu+M4\nBaMK33wT8eo//BAOHbKL0HnnRbz65s0LP5ZTbri4O45zYuzdC7NmRcR+7Vpb365dxKvv1cuKuDmB\n4eLuOE7xUYVlyyJdtD76yAaIa9Y0rz4s9tFQ1mHfPti0yZasLOvnm5Bgj+HlRF4nJAQaWnNxdxyn\n9NizB95/PxKrXx/q19OxY0Tozzqr/BqhZ2db9tLGjRHhPt7zPXtK//MTEkp2gfjlL2HIkGJ9tJcf\ncByn9KhRw8RoyBDz6hcvjnj1/+//wcMPW1vF8883sR840Foonih79x4rzvkJ95YtkbpBualZ0+oI\nNWpkk83Czxs1slpCiYlw+LAt2dmR58V5XZJjJCSU/G9SCO65O45TMnbtsvLLYbEPp4J26RLJq2/V\nqnAPe+NGC6EcTeXKJsy5hbpRo7yvGze2feKgrr+HZRzHKX9U4auvIoOyn31m3mp+1K59fKHO/bxu\n3ePn8MchLu6O4wTPjh3m1W/bdqznnZgYtHVRicfcHccJnjp1YPjwoK2IS/xex3EcJwZxcXccx4lB\nAou5i8hWYE0x314P2FaK5kQ7fj7y4ucjgp+LvMTC+WipqvUL2ykwcS8JIpJelAGFeMHPR178fETw\nc5GXeDofHpZxHMeJQVzcHcdxYpBoFffxQRtQwfDzkRc/HxH8XOQlbs5HVMbcHcdxnIKJVs/diWNE\nZI6I7BARbwLqOMfBxd2JKkQkGegNKDC4HD/XZ3M7UUXUibuIDBSRb0RkpYiMDdqeoBCR5iIyW0SW\nisgSEflF0DaVE9cAc4F/AdeGV4rIKSLyNxFZIyLZIrJdRE4JbTtHRD4VkZ0isk5ERofWzxGRG3Id\nY7SIfJzrtYrILSKyAlgRWvd46Bi7RWS+iPTOtX+CiPxGRL4TkT2h7c1F5GkR+VvuLyEib4jInWVx\ngnJ9Rm0RSROR5SKyTETOKsvPq8iIyJ2h/5PFIjJZRGK/sI2qRs0CJADfAacCJwFfAW2Ctiugc9EY\n6BJ6XgP4Nh7OBbAS+DnQFcgCGobWPw3MAe4HJgOfACcDLYE9wEigCpAEdAq9Zw5wQ65jjwY+zvVa\ngf8BdYFTQuuuCh2jMnA3sAlIDG37FfA1cCYgQMfQvt2BDUCl0H71gP1h28vwXL0U/n6h/5faQf/9\nAvrNNAVW5fobTgVGB21XWS/R5rl3B1aq6veqegiYAlwSsE2BoKobVXVB6PkeYBn2I45ZROQcTKyn\nqup87EI/SkQqAT8FHsJCNhOAHar6AzAKeE9VJ6tqlqpmqurCE/jYh1V1u6oeAFDVV0PHOKyqf8Mu\nIGeG9r0B+J2qfqPGV6F9vwB2AQNC+10BzFHVzSU5HwUhIrWAPsA/Q3YfUtWdZfV5UUBl4JRQeK0q\ndrGNaaJN3JsC63K9ziDGBa0ohOLQnYHPg7WkzLkWeFdVw9PHJ4XW1QMSMY/+HiB3i57m2EWguOT+\nvSEivwyFOHaJyE6gVujzC/uslzCvn9DjKyWwqSi0ArYCL4rIlyLyvIhUK+PPrJCo6nrgUWAtsBHY\nparvBmtV2RNt4u4chYhUB6YBd6jq7qDtKStC8fPLgb4isklENgF3YqGPxsAh4FDIo8/NOuC04xx2\nH+bFhcmvL9yRXOFQfP2ekB11VLU25pGHuyUX9FmvApeISEcgBXjtOPuVFpWBLsCzqtoZ+65xOUYl\nInWwO/xWQBOgmohcVfC7op9oE/f1mHcUplloXVwiIlUwYZ+oqtODtqeMGQJkA22ATqElBfgIG2Rd\njInnOixcd56ITAImhp5fLiKVRSRJRDqFjrkQGCYiVUXkR8D1hdhQAziMecSVReQ+oGau7c8DfxKR\n08XoICJJAKqaAczDPPZp4TBPGZIBZKhq+G4uDRP7eOQ8YJWqblXVLGA6cHbANpU50Sbu84DTRaSV\niJyExS7fCNimQBARweKpy1T1saDtKQeuBV5U1bWquim8AE8BVwL9gOew33R1zFO9XlXXAoOwwc/t\nmKB3DB0mtjJwAAAdK0lEQVTz75jHvxkLm0wsxIZ3gLexwes1wEHyhm0ewwbr3gV2Y3+fU3Jtfwlo\nT9mHZAidm3UiEh4PGAAsLevPraCsBXqGLuKCnYtlAdtU5kTdDFURGQSMwzJnXlDVhwI2KRBCg4sf\nYdkZ4Rjzb1R1ZnBWVQxEpB/wS1W9OGhbciMifbDwTEsth3+80B3K81imzPfAdaq6o6w/tyIiIn8E\nRmB3Xl9iWUQ/BGtV2RJ14u440UgohDYF+EpVHwjaHif2ibawjONEHSKSAuzEBn7HBWyOEye45+44\njhODuOfuOI4TgwRWDKlevXqanJwc1Mc7juNEJfPnz9+mReihGpi4Jycnk56eHtTHO47jRCUisqYo\n+3lYxnEcJwbxGtWO45QdOTnw9dewaxe0agVNmkBCQtBWxQUu7o7jlC5r1sB779ny/vuwdWtkW5Uq\n0KKFCf3RS3IyNGgAIsc9tFN0XNwdxykZO3bArFkRQV+50tY3bgwDB8J550HDhrB6NaxaFVleey2v\n8ANUrWoif7Toh5/Xrl3OXy56cXF3HOfEOHgQPv00Iubp6aAK1atDv35w660m6G3aFO6F7917rOiH\nX3/0Eew+qtBp7drHF/7kZLs4OICLu+M4hZGTAwsXRsT8o49M4CtXhp494Q9/MDHv3t3CLidC9erQ\nrp0tR6NqdwX5Cf/SpTBzptmRm4YNjxX98NKiRcS+7Gw4fBiysvIuJVl3IvuOGgV9+hTnr1FkXNwd\nxzmWVavyxs0zM219u3Zw000m5n36QI0aZWeDCNSta0vXrsduz8mBzZvzin54+fxz+L//MxEPU6mS\nXZCysuzCUV5UqmQXldzLWWe5uDtO1LF/P2zaBHXqWBghGgYIMzPzxs2//97WN20KF19sYj5ggMXR\nKwqVKpk9jRvD2fmUZz98GNavzyv6P/xwrNBWrnzsuhNdX9C+lYLJOHdxd5zioApbtsDy5ZFl2TJ7\nXJNrjkmVKlCvnmWBNGgA9esX/Lx69fK5GBw4AJ98EhHzBQvsO9WsCf37w513mqCfeWZ0XJzyo3Jl\naNnSln79gram3HFxd5yCyMoyLza3iIeXnbn6TVetCq1bQ69ecP310Ly5bd+yxZatW+3xu+/s+Z49\n+X/eyScX/UJQv37RBxCzs+HLLyNi/vHHES/27LPhgQdMzFNTTRSdqMf/io4DNsnmm2+O9cRXrrTb\n+zCNG0NKig2ItW4dWZo2PbHb74MHI4KfW/yPfr5smT0eOE5XvmrVCr4Q7N1rYj5rlg1OAnToALfc\nYmLeu7fdLTgxh4u7Ez/k5EBGRv5e+MaNkf0qV4bTTzcRHzo0IuBnngm1apWOLYmJ5t03b174vqqw\nb19E9I93IVi/3rzzLVvsjiNM8+b2Pc47D8491zJKnJjHxd2JPQ4ehBUr8hfx/fsj+9WubQI+cGBe\nL7xVqxNP6StLRMy7rl7dbCsMVcsP37LFpvq3ahW9cXOn2Li4O9GLqqXAffVV3mXVqkiqm4gNqLVu\nbalnrVuboLdubeGLWBQ9EbvDKK27DCcqcXF3ooMDB2DJEptMExbxRYssVg4maGecYfnQ11wT8cJP\nP91nLTpxiYu7U7FQtRzxsICHxfybbyxmDhae6NgRrrzSHjt2tMk11aoFa7vjVCBc3J3gyMoy0c7t\njX/1lcWKw7RsaeI9fHhEyFu1CmxiiONECy7uTvmwY8ex3viSJXDokG0/+WTzvi++2AS8UydL2fMq\ngI5TLFzcndIlJ8cm/Rztja9dG9mnYUMT8DvuiHjjZ57pk2ccpxTx/yanZOzfD3PmwNtvW+nXr7+2\niTNgaXitW8M550S88Y4dPc/accoBF3fnxFm9Gv77Xyu5OmuW5ZVXrWpT13/604g33ratTdZxHKfc\ncXF3Cicry2qRzJxpor5sma3/0Y/gZz+DQYOgb1+LmzuBs38/rFtnkbBKlSy9vyLNyXLKBxd3J382\nbYK33jIx/9//bMbjSSeZiI8ZAxddZDnkTrkSLmG+du3xl23b8r6nXj24/HIrh3PWWZ5oFC+4uDtG\ndrbFzMPhlvnzbX3TpjBihIn5gAFeZKqM2bcv4nWvXWvVg3ML97p1ecvGgP1JWra0RkPdutljeNm+\nHaZMgRdfhGeesf1GjbIlv+ZHTuwgWoSOJCIyEHgcSACeV9VHjtreEngBqA9sB65S1YyCjpmamqrp\n6enFtdspDXbsgHfeMTF/6y1z+SpVMvfuooss3NKhQ1RM0V+1Ch5/HCZOjLTzLK3l5JNL5xTk5NgN\nUUFed7jhUZhKlez6mluwj15q1Srcvj17rB/1pEl2I5adDe3bm8hfcYV1pYt1Nm60Ap8NG9pNaLQi\nIvNVNbXQ/QoTdxFJAL4FzgcygHnASFVdmmuf/wPeVNWXRORc4DpVvbqg47q4B4CqZbOEY+effmqK\nk5QEF15oYv7jH1tbsyjhs8/gscdg+nQTwksvtTDE3r0FL/v2Ff0zEhJO/IKQkGBFGnMLd0bGsV53\nrVoFC3eTJqWfIbpli3WgmzTJfgJgZehHjbK5YvXrl+7nBcXWrZbINWuWdQpcsSKyrW5daNSo8CUp\nqeKFsUpT3M8C7lfVH4de3wugqg/n2mcJMFBV14mIALtUtWZBx3VxLyf27rVfdzjckhG6oercOeKd\nd+9uahQlHD4MM2aYqM+da93sbrrJSpQ3bVq0Y+Tk2MDjnj2FXwhOZAlXSAA7pbm97nDoJLw0bx58\nba9VqyxsM3GizSlLSIALLrDKDpdcEl1RuF274MMP7ec+a5aVHgJr89q3rzWYqlHD7p6OXjZuzL9k\nfkKCefr5CX/jxnlfl9e5Kk1xvwwT7htCr68Geqjqrbn2mQR8rqqPi8gwYBpQT1UzjzrWGGAMQIsW\nLbquyd2OzCk9Vq6MiPmcOTYLtEYNOP98E/MLLzSXMMrYvRv++U8Lv6xZY8k6d9wBo0dXjLIyqpYV\nuneveegNGkTPvKzwTd2kSTB5st1pnHKKCfyoUXZDV9FCGfv3W6fAsJinp9vFNTHRplace64tXbsW\n/ndQtb9bfsJ/9LJ5c96+22GqVSva3UCDBiU7l+Ut7k2Ap4BWwIfApUA7Vd2ZzyEB99xLlR9+MJcl\nHG4J33+2bm1iftFF9muvaP+dRWTNGnjiCZgwwTztPn3grrusUkEU3XBEDTk5Fq6ZNAmmTrVxgDp1\nLGQzapQ1bwoiVHHoEHzxRSTMMneuratcGXr0iIh5z55lO70iJ8fOSVEuBNu353+MZ5+1u83iUK5h\nmaP2rw4sV9VmBR3Xxb2E5OTYr3zCBBP0ffts5K9//0i45dRTg7ayRHzxhYVe0tLs9YgR1rc5tdCf\ntVNaZGXZAOykSTYgu28fNGtmg7DhopxlNd4ebvsa9sw/+si8dRHo0iUi5uecU3HDRz/8YJ7+0aJ/\n0UV2R1EcSlPcK2MDqgOA9diA6ihVXZJrn3rAdlXNEZGHgGxVva+g47q4F5MtWyyvbcIEa7Zct64l\nMV90kQl7RYhPlIDsbHj9dRP1Tz6xmPSYMXDbbUXrSOeUHfv2wRtvmNC//baNfYTbyY4cCaedVrLj\nq1rcPyzmc+ZEyvW3bRsR87597U4iXik1cQ8dbBAwDkuFfEFVHxKRB4B0VX0jFLp5GFAsLHOLqv5Q\n0DFd3E+AnByYPRvGj7eRxKwscnr35Z2ef2D88j4cyk7gnHPMg+nWLTpn/O/da9esceOs7lirVhZP\nv+46Gy5wKhaZmXZHNWmSRQTBQiOjRpmv0ahR4cdQNf8kLOazZ0eqPZ96akTM+/cv2vHihVIV97LA\nxb0IbNkC//qXeekrV0Lduuwc8TNerPkLnpnWkJUrbSQ/KQmWhhJTTzrJwhZhsT/7bNteUcnIgCef\nhH/8w7y0s8+2ePqQIR5PjxbWrrWMm0mTrABopUo2323UKOvLnTsjKCPDRDws6OFioY0b23vCYh4P\neffFxcU9WsnJsfvRf/zjiJdO7958PejXPP3dj3llUmX277e85FtvhWHDTNAzM20Q7OOPbZk3L5JT\n3aZNROzPOcf+cYKelzR/voVepk61r3zZZRZP79kzWLuckrFkiWXbTJpkaZYnnww/+YnNPZg1C779\n1varW9dEPCzoZ5wR/G8yWnBxjza2bIGXXrLQy8qVUKcOWVddx+un3slTrzXjgw8s3DJqlOVzd+lS\n8OEOHLDUsI8+MrH/9NNI/LJp07xi3759+XjJOTnwn/+YqH/4oYVbbrzR4unuqcUWqvD55yby//63\nDYT27RsJtXToUPEmB0ULLu7RgGoklj59+hEvfcuI2xi/dQjPPV+F9etN+H7+c6umW9wQS3a2eVVh\nz/6jjyLzmWrUsHBIWOy7dy/dntL79tl16+9/t+tWixbwi1/A9dcHP4nHKXtycuyn7mG20sHFvSKz\ndWsklr5iBdSpg15zLV/0vJ2n/tuKqVMtf/eCCyz0MmhQ2fxjrF0bEfuPP4bFi+2fsHJlS9MKi32v\nXsWbkr5hAzz1FDz3nJWx6d4d7r7bQknRMrnHcSoaLu4VDVWLpYe99EOH4JxzOHjdzfw7+zKeGn8S\n6enmRY8ebZ5669bla+KOHXnj9l98EWlxGm6oFF5OPfX4MdKFCy30MmWKpcsNHWqiftZZHld1nJLi\n4l5R2LbNvPTx481Lr10brr2WtRf/nOdmncGECbZLSop56VdfXXFS/w4etIHPsNh/8oldAMBS03KL\nfYcO8O67JuqzZlm6/fXXw+23lzz/2XGcCC7uQaIKH3xgGS9hL71XL3TMz5hd/3KemnAyr79uuw4e\nbKJ+7rkV36vNybEmTOGY/ccfW2kAsDDL4cM2e/H2222gtHbtYO11nFjExT0Itm2LZLx8+62p2zXX\nsPeqm3h5XgpPPWXimJRk4nfTTVYpMJpZt848+nnzLE4/fLi3dHOcsqSo4u7DWiUl7KWPHw/Tph3x\n0vntb/mm4+U880Ii/zrPKhp27WoRmhEjonMWaX40b251Rq64ImhLHMfJjYt7cdm1y+rPjh8P33xj\nOX0/+xnZ149h5tp2PPUUvHutebGXX26hlx49Kn7oxXGc2MDFvTgcPgwDB1rN0bPPhn/9i+0DhvPC\nlKo8M9Rm5jVpAn/6k4VfGjYM2mDHceINF/fi8MgjJuyvvMLCdlfx1FMw8SbLLunTB/7yF6uN4rFn\nx3GCwsX9BNH0+ay8fyLvpz7Pq89dxSefWMeaa66xsgAdOgRtoeM4jot7kVi3LlTF7n+HmfXvJmRk\nL4N0y9/+29+sLG0815d2HKfi4eKeD1u25O2avnKlrU9KPEj/wx8z4PZ2nHtLCqef7gOkjuNUTFzc\ngZ0783ZN//prWx/umv7zn8O5VefS/qazqXTbrfD48GANdhzHKYS4FPf9+212ZVjM58/P2zV95Mij\nuqbv2AEdhkPrM20w1XEcp4ITF+J+6JDVlg6L+WefWXXdypWtOcTvfhfpmn7yyfkc4NZbravtZ5+V\nbi1cx3GcMiImxT07GxYsiIj5xx/n7Zp+xx0n0DX93/+2jgMPPGD96xzHcaKAmBD3wrqmX399Mbum\nr18PN99sU0vvvbcsTHccxykTolLcC+qaftppNt3/3HOhX78SdE1XtavCwYPw8sveXcJxnKiiSIol\nIgOBx4EE4HlVfeSo7S2Al4DaoX3GqurMUrYVsMJb991nuedg0/wvuCDSm7HUqiw++yy88w4884x1\n73Ucx4kiChV3EUkAngbOBzKAeSLyhqouzbXb74CpqvqsiLQBZgLJZWAvdetGoiRl1jX9m2/gl7+0\n+jE33VTKB3ccxyl7iuK5dwdWqur3ACIyBbgEyC3uCtQMPa8FbChNI3MzeLAtZUZWlrVDOuUUq/ro\ns5Qcx4lCiiLuTYF1uV5nAD2O2ud+4F0RuQ2oBpyX34FEZAwwBqBFixYnamv58Oc/W+eJqVMt5uM4\njhOFVCql44wE/qWqzYBBwCsicsyxVXW8qqaqamr9+vVL6aNLkXnzrE7vVVdZSyHHcZwopSie+3qg\nea7XzULrcnM9MBBAVT8TkUSgHrClNIwsF/bvN1Fv3BiefDJoaxwn6sjKyiIjI4ODBw8GbUpMkJiY\nSLNmzahSzNrhRRH3ecDpItIKE/UrgFFH7bMWGAD8S0RSgERga7EsCopf/9r6nr7/vnd2dpxikJGR\nQY0aNUhOTkZ8rKpEqCqZmZlkZGTQqlWrYh2j0LCMqh4GbgXeAZZhWTFLROQBEQkPbd4N3CgiXwGT\ngdEaVOft4vDuu/DUU5Gpq47jnDAHDx4kKSnJhb0UEBGSkpJKdBdUpDz3UM76zKPW3Zfr+VKgV7Gt\nCJLt260ge5s2NpjqOE6xcWEvPUp6Ln3a5c9/btNb33zT0h8dx3FigNLKlolOJk+2wmD33w+dOwdt\njeM4JWDnzp0888wzJ/y+QYMGsXPnzjKwKFjiV9wzMsxrP+ssG0x1HCeqOZ64Hz58uMD3zZw5k9ox\nmEQRn2GZnByLs2dleVEwxykL7rgDFi4s3WN26gTjxh1389ixY/nuu+/o1KkTVapUITExkTp16rB8\n+XK+/fZbhgwZwrp16zh48CC/+MUvGDNmDADJycmkp6ezd+9eLrzwQs455xw+/fRTmjZtyuuvv84p\nURqujU/P/emn4b334LHH4Ec/Ctoax3FKgUceeYTTTjuNhQsX8te//pUFCxbw+OOP8+233wLwwgsv\nMH/+fNLT03niiSfIzMw85hgrVqzglltuYcmSJdSuXZtp06aV99coNeLPZV22DO65By66CG68MWhr\nHCc2KcDDLi+6d++eJ0f8iSeeYMaMGQCsW7eOFStWkJSUlOc9rVq1olOnTgB07dqV1atXl5u9pU18\niXu4KFi1avD8814UzHFimGrVqh15PmfOHN577z0+++wzqlatSr9+/fLNIT85V5/NhIQEDhw4UC62\nlgXxJe5/+pN1w542rQRdPBzHqYjUqFGDPXv25Ltt165d1KlTh6pVq7J8+XLmzp1bztaVP/Ej7nPn\n2iSla6+FYcOCtsZxnFImKSmJXr160a5dO0455RQaNmx4ZNvAgQN57rnnSElJ4cwzz6Rnz54BWlo+\nSFBVAlJTUzU9Pb18PmzfPhtpP3QIFi2CWrXK53MdJ45YtmwZKSkpQZsRU+R3TkVkvqqmFvbe+PDc\nf/Ura7o6e7YLu+M4cUHsp0K+9Zb1Q73rLujbN2hrHMdxyoXYFvfMTPjpT6FdO3jwwaCtcRzHKTdi\nNyyjas2tMzPNe09MDNoix3GcciN2xX3iREhLg4cftsFUx3GcOCI2wzJr18Ktt0KvXjaY6jiOE2fE\nnrjn5MDo0ZCdbUXBEhKCtshxnApI9erVAdiwYQOXXXZZvvv069ePwlK2x40bx/79+4+8riglhGNP\n3J94wlIex42DU08N2hrHcSo4TZo0IS0trdjvP1rcK0oJ4diKuS9ZAmPHwk9+YlkyjuMEQgAVfxk7\ndizNmzfnlltuAeD++++ncuXKzJ49mx07dpCVlcWDDz7IJZdckud9q1ev5uKLL2bx4sUcOHCA6667\njq+++orWrVvnqS1z8803M2/ePA4cOMBll13GH//4R5544gk2bNhA//79qVevHrNnzz5SQrhevXo8\n9thjvPDCCwDccMMN3HHHHaxevbpcSgvHjud+6JAVBatZEyZM8KJgjhNnjBgxgqlTpx55PXXqVK69\n9lpmzJjBggULmD17NnfffTcFzcp/9tlnqVq1KsuWLeOPf/wj8+fPP7LtoYceIj09nUWLFvHBBx+w\naNEibr/9dpo0acLs2bOZPXt2nmPNnz+fF198kc8//5y5c+cyYcIEvvzyS6B8SgvHjuf+wAPw5Zfw\n2muQq6aE4zjlTxAVfzt37syWLVvYsGEDW7dupU6dOjRq1Ig777yTDz/8kEqVKrF+/Xo2b95Mo+MU\nDvzwww+5/fbbAejQoQMdOnQ4sm3q1KmMHz+ew4cPs3HjRpYuXZpn+9F8/PHHDB069Eh1ymHDhvHR\nRx8xePDgciktXCRxF5GBwONAAvC8qj5y1Pa/A/1DL6sCDVS1/IJOn35qKY/XXQdH3XI5jhM/DB8+\nnLS0NDZt2sSIESOYOHEiW7duZf78+VSpUoXk5OR8S/0WxqpVq3j00UeZN28ederUYfTo0cU6Tpjy\nKC1caFhGRBKAp4ELgTbASBFpk3sfVb1TVTupaifgSWB6qVt6PPbuhWuugRYtKkSDAMdxgmPEiBFM\nmTKFtLQ0hg8fzq5du2jQoAFVqlRh9uzZrFmzpsD39+nTh0mTJgGwePFiFi1aBMDu3bupVq0atWrV\nYvPmzbz11ltH3nO8UsO9e/fmtddeY//+/ezbt48ZM2bQu3fvUvy2BVMUz707sFJVvwcQkSnAJcDS\n4+w/EvhD6ZhXBO6+G77/Hj74wOLtjuPELW3btmXPnj00bdqUxo0bc+WVV/KTn/yE9u3bk5qaSuvW\nrQt8/80338x1111HSkoKKSkpdO3aFYCOHTvSuXNnWrduTfPmzenVq9eR94wZM4aBAwceib2H6dKl\nC6NHj6Z79+6ADah27ty53Lo7FVryV0QuAwaq6g2h11cDPVT11nz2bQnMBZqpanZBxy2Vkr///S9c\nfLG1zfvLX0p2LMdxSoSX/C19SlLyt7SzZa4A0o4n7CIyRkTSRSR969atJfukrVvh+uuhQwcbTHUc\nx3GOUBRxXw80z/W6WWhdflwBTD7egVR1vKqmqmpq/fr1i27lsQeCn/0MduyAV16BXIMTjuM4TtHE\nfR5wuoi0EpGTMAF/4+idRKQ1UAf4rHRNzIeXX4YZM6yMbwGpSI7jlC9BdXaLRUp6LgsVd1U9DNwK\nvAMsA6aq6hIReUBEBufa9Qpgipb1X3fNGrjtNujTxxpwOI5TIUhMTCQzM9MFvhRQVTIzM0ksQany\nIuW5q+pMYOZR6+476vX9xbbiRHjlFXt86SUvCuY4FYhmzZqRkZFBicfTHMAuls2aNSv2+6OvQbYq\nrFrlRcEcx4lLgsqWKXtEXNgdx3EKIfrE3XEcxykUF3fHcZwYJLCYu4hsBQou9HB86gHbStGcaMfP\nR178fETwc5GXWDgfLVW10IlCgYl7SRCR9KIMKMQLfj7y4ucjgp+LvMTT+fCwjOM4Tgzi4u44jhOD\nRKu4jw/agAqGn4+8+PmI4OciL3FzPqIy5u44juMUTLR67o7jOE4BuLg7juPEIFEn7iIyUES+EZGV\nIjI2aHuCQkSai8hsEVkqIktE5BdB21QREJEEEflSRN4M2pagEZHaIpImIstFZJmInBW0TUEhIneG\n/k8Wi8hkESl+ucUoIarEvSjNuuOIw8DdqtoG6AncEsfnIje/wEpTO/A48LaqtgY6EqfnRUSaArcD\nqaraDkjASpTHNFEl7uRq1q2qh4Bws+64Q1U3quqC0PM92D9u02CtChYRaQZcBDwftC1BIyK1gD7A\nPwFU9ZCq7gzWqkCpDJwiIpWBqsCGgO0pc6JN3JsC63K9ziDOBQ1ARJKBzsDnwVoSOOOAe4CcoA2p\nALQCtgIvhsJUz4tItaCNCgJVXQ88CqwFNgK7VPXdYK0qe6JN3J2jEJHqwDTgDlXdHbQ9QSEiFwNb\nVHV+0LZUECoDXYBnVbUzsA+IyzEqEamD3eG3ApoA1UTkqmCtKnuiTdxPpFl3zCMiVTBhn6iq04O2\nJ2B6AYNFZDUWrjtXRF4N1qRAyQAyVDV8N5eGiX08ch6wSlW3qmoWMB04O2CbypxoE/ciNeuOB0RE\nsHjqMlV9LGh7gkZV71XVZqqajP0uZqlqzHtnx0NVNwHrROTM0KoBwNIATQqStUBPEaka+r8ZQBwM\nLheph2pFQVUPi0i4WXcC8IKqLgnYrKDoBVwNfC0iC0PrfhPqd+s4ALcBE0OO0PfAdQHbEwiq+rmI\npAELsCyzL4mDMgRefsBxHCcGibawjOM4jlMEXNwdx3FiEBd3x3GcGMTF3XEcJwZxcXccx4lBXNwd\nx3FiEBd3x3GcGOT/A4SNFD2oQ6qVAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1e8148690>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: inceptionv3-l1-final.h5 ===\n",
      "\n",
      "Accuracy: 0.892\n",
      "\n",
      "Confusion Matrix\n",
      "[[389  37]\n",
      " [ 49 325]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.89      0.91      0.90       426\n",
      "          1       0.90      0.87      0.88       374\n",
      "\n",
      "avg / total       0.89      0.89      0.89       800\n",
      "\n",
      "=== Evaluating model: inceptionv3-l1-best.h5 ===\n",
      "\n",
      "Accuracy: 0.889\n",
      "\n",
      "Confusion Matrix\n",
      "[[366  61]\n",
      " [ 28 345]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.93      0.86      0.89       427\n",
      "          1       0.85      0.92      0.89       373\n",
      "\n",
      "avg / total       0.89      0.89      0.89       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"l1\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[0, 2] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Elementwise Euclidean Distance"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(10,) (10,)\n",
      "(10,)\n"
     ]
    }
   ],
   "source": [
    "def euclidean_distance(vecs):\n",
    "    x, y = vecs\n",
    "    return K.sqrt(K.sum(K.stack([K.square(x), -K.square(y)], axis=1), axis=1))\n",
    "\n",
    "def euclidean_distance_output_shape(shapes):\n",
    "    xshape, yshape = shapes\n",
    "    return xshape\n",
    "\n",
    "vecs = [np.random.random((10,)), np.random.random((10,))]\n",
    "print(vecs[0].shape, vecs[1].shape)\n",
    "s = euclidean_distance(vecs)\n",
    "print(s.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Lambda(euclidean_distance, \n",
    "                output_shape=euclidean_distance_output_shape)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 1s - loss: 0.7087 - acc: 0.5549 - val_loss: 0.6380 - val_acc: 0.6406\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.6036 - acc: 0.6580 - val_loss: 0.5973 - val_acc: 0.6901\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.5160 - acc: 0.7486 - val_loss: 0.5211 - val_acc: 0.7344\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.3865 - acc: 0.8340 - val_loss: 0.5098 - val_acc: 0.7891\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.2821 - acc: 0.8885 - val_loss: 0.5593 - val_acc: 0.7812\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.2345 - acc: 0.9080 - val_loss: 0.7237 - val_acc: 0.7318\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.1665 - acc: 0.9399 - val_loss: 0.6917 - val_acc: 0.7708\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.1368 - acc: 0.9528 - val_loss: 0.6830 - val_acc: 0.7839\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0880 - acc: 0.9691 - val_loss: 0.7501 - val_acc: 0.7839\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.1095 - acc: 0.9587 - val_loss: 0.7609 - val_acc: 0.7734\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"l2\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xd8VFX+//HXBwiETkiQromKEHogIEoRBF2KgFjAgru4\nKi7qF1HXXfS3a8eyKsu6i7iIuq4KyiIoKoiiFBtIFZEiLZhQQ29BAjm/Pz4ZZhLSgCR3yuf5eNxH\nMnfuTE6G8J4z5577OeKcwxhjTHgp43UDjDHGFD8Ld2OMCUMW7sYYE4Ys3I0xJgxZuBtjTBiycDfG\nmDBk4W6MMWHIwt2EPRFJEZEeXrfDmNJk4W6MMWHIwt1ELBG5Q0TWi8geEZkuIvWy94uI/F1EdorI\nARH5UUSaZ9/XW0RWichBEdkiIn/09rcwJm8W7iYiicjlwDPAQKAusBl4N/vuK4EuwEVA9exjdmff\n9xpwp3OuKtAc+LIUm21MkZXzugHGeORm4HXn3FIAEXkI2Csi8UAmUBVoAnzvnFsd8LhMoKmI/OCc\n2wvsLdVWG1NE1nM3kaoe2lsHwDl3CO2d13fOfQn8CxgL7BSR8SJSLfvQa4HewGYRmScil5Ryu40p\nEgt3E6m2Auf5bohIZSAW2ALgnHvJOdcWaIoOzzyYvX+Rc64/cA7wATC5lNttTJFYuJtIESUi0b4N\nmATcKiKtRaQC8DSw0DmXIiLtRORiEYkCDgNHgSwRKS8iN4tIdedcJnAAyPLsNzKmABbuJlLMADIC\ntq7AX4H3gW3ABcAN2cdWA15Fx9M3o8M1z2ffdwuQIiIHgD+gY/fGBB2xxTqMMSb8WM/dGGPCkIW7\nMcaEIQt3Y4wJQxbuxhgThjy7QjUuLs7Fx8d79eONMSYkLVmyZJdzrlZhx3kW7vHx8SxevNirH2+M\nMSFJRDYXfpQNyxhjTFiycDfGmDBkVSGNMSYfWVmQkQGHDxe8HTlS+DGBxz77LNxyS8m23cLdGBP2\nNm6EL7+EbdtOL4SPHDm9nyMClSvrVqmS//vKlSE21v/9ueeWzO8ZyMLdGBN2du3SMJ89W7dNm/z3\nlS+fM3R9QVyzJjRseOp9uY8r6P7oaA34YGDhbowJeUeOwFdf+cN8+XLdX60adOsG998P3btDo0ZQ\nLkJSL0J+TWNMODl+HJYs8Yf5t9/CsWMQFQUdO8KTT0KPHpCcHDlhnluE/trGlIxff4VnnoHXXoNz\nzoGEBIiP1y3w+8qVvW1nqHEO1q71h/mcOXDggN7XujUMH65h3qmTvbY+oRfux45BmTKR+3ZsgtbC\nhXDbbfDTT9Czp+776Sf45BM4ejTnsbVq5R36CQlw3nlQsWLptj0YbdsGX3zhD/QtW3R/fDwMGqTD\nLJdfrq+lOVXoJeRbb8Gjj8Kdd8Ltt0Pdul63yES4w4fhr3+FMWOgQQMN8969/fc7Bzt2QEqKnthL\nSfFvy5fDhx9qnyVQ7dr59/rPOw8qVCid3600HTgA8+b5w3zVKt1fs6YGeY8eup1/vrftDBWeLdaR\nnJzszqj8wLx5+rl31iztvV9zDdx9N3TuHDynqU3E+OILuOMODe277tI/zWrVCn9coKws2L49Z/AH\nfr95s44xB6pXL+9ef3y8zvgoX/7sf7eSduyYftrxhfnChXDihM446dLFH+itW+uHdaNEZIlzLrnQ\n40Iu3H3Wr4dx4+CNN2DvXmjWTP93DR58+v+7jDlN+/bBH/+oY+uNGsGECRpIJeHECdi69dTQ932f\nmqrH+IhA/foa9vXq6RBP4BYdfeq+otxXocLZ9Z+ysmDlSn+Yz5+vn3rKlNETn76e+SWXaDtM3sI/\n3H2OHIH33oOxY/X0eZUqeunXXXdB8+Zn//zG5PLhhzBsGOzcqQH/6KPejpEfP67j0XkF/7ZteoXl\n0aP6NSNDQ/ZM5RX+RXmz2LhRP+Xs3KnP07ixv2fetSvExJz96xApIifcA33/Pbz8Mrz7rk5b6NJF\nQ37AgND4nGqC2o4dOitj8mRo1Up77W3bet2q0+McZGb6gz538JfE/owMnTnk65l3765DR+bMRGa4\n++zercM148Zpl6FOHR0YHTpUz3gZcxqcg7ffhhEj4NAh7ak/+KDOqTaF80WMnRIrHkUN9/A8TREb\nq5+X162DGTN0QO+pp/Rs0zXX6ICfR29qJrT88ovOfPntb6FJE53d8vDDFuynQ8SC3QvhGe4+ZcpA\nr17w0Ufag//jH/Ua5Suu0P+p//iHnhkzJpesLD2N06yZ/sm89JJ+TUz0umXGFE14h3ug+Hits5ma\nqnPlY2P1c3b9+jpk4ytGYSLe2rVw2WVwzz06c2PlSvi//7PpeCa0hNyf64IFmtEffgg//3zq/N9C\nRUfrdMlvv9XZNTfdBO+8A0lJcOmlOria+3JCExEyM/Vvq1UrvbL0P//RyylsqV8TikLuhOpzz8HI\nkf7b5cvDRRfpx+XA7aKLTmN62r598OabOtPm558hLk6vfr3zTvufHSGWLdPSAcuWwbXXwr/+pefh\njQk2YT1bZv9+WLMGVq/OuW3c6J/DK6IXcSQmQtOmOYO/evV8ntg5nYz78sv60cA56NNHp1P+5jf2\nuTwMHT2qFQSfe07f08eO1XA3JlgVa7iLSE/gH0BZYIJz7tk8jhkIPAY44Afn3E0FPWdJTIU8elQ7\n3rlDf+3anLU76tY9tafftKnW8zh5Vj81FcaPh1df1QnO55+vV67cequO15uQ98032ltfu1b/WV98\n0S6mMcGv2MJdRMoCPwNXAGnAIuBG59yqgGMaAZOBy51ze0XkHOfczoKet0Tnuedy4oResbdq1anB\nf/Cg/7gaNU4N/cQLjhG/bBplXnlZr5euUAFuuEF78+3bl0r7TfE6eFCnM44dq8udjR8PV17pdauM\nKZriDPdLgMecc7/Jvv0QgHPumYBj/gb87JybUNQGlma458c5rdnhC/rA8N8Z8NZUsaJeLp1Ydx+J\nu74i8cf3SDy6jEYtK1F+8ECtP1oaiyKaszZrll7LlpqqM2BGjdKKFcaEiuIM9+uAns6527Nv3wJc\n7Jy7J+CYD9DefUd06OYx59yneTzXUGAowLnnntt28+bNRf+NStmePaf28let0gp9PpXLHOHKrE/p\nx3R6t9vFOb/tCddfr+M7Jqjs2QP33Qf//a9e4vDaazo5yphQU9rh/jGQCQwEGgDzgRbOuXyvEAqG\nnvuZOHxYx2hXr9aLWj764Dhbd5RDyKIDC+grH9P34nSa3X4Jcs0AG8T1mHPw/vtaFXrPHvjzn+Ev\nf7GqgyZ0FWf5gS1AYJmfBtn7AqUB051zmc65TWgvvlFRGxtKKleGNm3g5pvhlVcgbVs5liyBRx8r\nw7GmSTzsnqbFgle54PauDI97h9mXPsKxt97TdwVTqrZt05kv11+vJYUWLdIqFBbsJhIUpedeDg3r\n7mioLwJucs79FHBMT/Qk6+9EJA5YBrR2zu3O73lDtedemC1b4OOPHB+9vZ8vFlTm6IkoqrGf35Sd\nTd/k7fS+O4HYgd3DcymdIOGcXoB0//06g+rxx/V7W5nRhIPingrZGxiDjqe/7pwbJSJPAIudc9NF\nRIAXgZ7ACWCUc+7dgp4zXMM90JEjMPuzLD6asIOP51Ri+5HqlOEEl5ZdSN+kNPreWZ8mv7sYibLU\nKS6bNukJ09mzdXGuCRP0gjZjwkVYX8QUirKyYMnC43z0zxQ+mhXF8j3nAXBBmU30a7GRvr8/h053\nNiOqgl0oVVS//qp1X5Yu9W/Ll+uHouee0wuM7bozE24s3INc6rqjfPzCGj6ansUX25txjArUkP30\nbLyRvoOr02tYAjE1rU6qz+HDsGJFziBfudJfW6h6dT0X0ratLqhhi0GYcGXhHkIObTvI588t5aOp\nx/gktSU7qU1ZjtPpvFT6DapE39tr0ygsT0/nbf9+7YEHBvmaNf7SEnFxGuJt2vi3hASrGW4ig4V7\niMratYfvX/yKjyYd4qPNLfiRlgA0rrWbvleXpe/gGlx6aficHNy1S4t1BQb5+vX+++vXzxnibdro\nPgtyE6ks3MPBtm2kvPIpH/93Dx+lNGcO3cikPDUrZdCrJ/QdWJGePQsohBZktm3LGeJLl+pKRz4J\nCTlDPCnJrgczJjcL93CTksLB/07js9fT+GhzCz6hD7uoRbkyWSQkOKpUK0vlyjoPv0oVCvy+oPsr\nVYKyZc+uqc5paOcO8u3b9X4RncGSO8jtei9jCmfhHs5Wr+bExPdY+J/VfJzWik1RF3H4/BYcrn0B\nh46W4/BhPQF56JB+zcg4vaePjj79N4XoaNiwwR/ke/boc5UtqxU3A4O8VSuoWrX4XxZjIoGFeyRw\nDhYvhqefhg8+gJo14cEHdX24gGpYJ07onPvAwC/K90W5/8QJf3PKl4cWLXIGeYsWp7FoijGmUBbu\nkWbJEnjkEZgxA2rV0uWqhg0r0WR1TuvkHz6sbx7nnKMBb4wpOcVZW8aEgrZt4ZNPdG3YVq3ggQfg\nggt0vbhffy2RHymiFwzVrKm1WyzYjQkeFu7h5pJL4PPPYd48aNRIi5ZfeCH8+985l6MyxoQ1C/dw\n1aULzJ2rRVYaNoQ//EFXHHnjDf9lncaYsGXhHs5EoHt3XSx0xgxd+/X3v9fpK++8k/NsqDEmrFi4\nRwIR6NVLC5p/8IGeZB08GFq2hP/9z39dvzEmbFi4RxIR6N9fr/efPFmnuwwcqFcQffCB3jbGhAUL\n90hUpowuT/Tjj/D223qV04AB0K6dDt9YyBsT8izcI1nZsrpe4KpVeqJ1zx7o0wc6dtQTsRbyxoQs\nC3ejJSaHDNG6uv/+N6SmwhVXQNeuMH++160zxpwBC3fjV768rlG3fj3885+wbh1cdpkG/YIFXrfO\nGHMaihTuItJTRNaKyHoRGVnAcdeKiBORQi+NNUGsQgWtT7NhA7z4Ivzwg14c1aePljkwxgS9QsNd\nRMoCY4FeQFPgRhFpmsdxVYF7gYXF3UjjkYoV4f77YeNGeOYZ7b0nJ8PVV+uad8aYoFWUnnt7YL1z\nbqNz7hjwLtA/j+OeBJ4DjhZj+0wwqFJFC5Ft2gSPP65XvrZqpdMoV63yunXGmDwUJdzrA6kBt9Oy\n950kIm2Ahs65Twp6IhEZKiKLRWRxenr6aTfWeKxaNa08uWkT/OUvMHMmNG+uF0StW+d164wxAc76\nhKqIlAFGAw8UdqxzbrxzLtk5l1yrVq2z/dHGKzEx8OSTGvIPPghTp0JiIgwapL16m0JpjOeKEu5b\ngIYBtxtk7/OpCjQH5opICtABmG4nVSNAXBw895yG/H33aTXKbt2gWTOdbbN/v9ctNCZiFSXcFwGN\nRCRBRMoDNwDTfXc65/Y75+Kcc/HOuXhgAdDPOWcrcUSK2rXh+edhyxa9GKpKFRg+HOrV06mVy5d7\n3UJjIk6h4e6cOw7cA8wCVgOTnXM/icgTItKvpBtoQkjFinox1Pffa5GyG27Q8gZJSTqV8q234Kid\nbzemNNgye6Zk7d0Lb74J48bBzz/7yw7feaeuFGWMOS22zJ4JDjExMGKEljaYPVtLGoweratE9eoF\nH31kdeWNKQEW7qZ0+BYOmTIFNm/WKZUrVkC/fnD++fD007Bjh9etNCZsBNWwTGZmJmlpaRy1cdli\nER0dTYMGDYiKivK6KXnLzITp03XI5osvICoKrr0W7roLOnXSNwRjTA5FHZYJqnDftGkTVatWJTY2\nFrH/2GfFOcfu3bs5ePAgCQkJXjencGvWwCuvwH/+o1MomzXTkB88WC+eMsYAITrmfvToUQv2YiIi\nxMbGhs6noCZNYMwYnU45YYIWL7v7bqhfH4YNs1o2xpymoAp3wIK9GIXka1m5Mtx2GyxeDAsXwnXX\naW++VSsdqnnnHfj1V69baUzQC7pwNwbQ8fb27fWiqC1btPTwjh06TNOwob+QmTEmTxbuAfbt28fL\nL7982o/r3bs3+/btK4EWGQBq1tTSw2vXwmef6TKAzz+v8+Svugo++cSmUxqTi4V7gPzC/fjx4wU+\nbsaMGdSoUaOkmmV8ypTRVaGmTYOUFK1MuWSJBvyFF8Kzz8LOnV630pigYOEeYOTIkWzYsIHWrVvT\nrl07OnfuTL9+/WjaVNcmufrqq2nbti3NmjVj/PjxJx8XHx/Prl27SElJITExkTvuuINmzZpx5ZVX\nkpGR4dWvE94aNoQnnoBffoHJkyE+Hh56SE/AtmmjV8G+9JKuAWsFzEwECqqpkKtXryYxMVFvjBhR\n/AWnWrfWGRn5SElJ4aqrrmLlypXMnTuXPn36sHLlypNTCffs2UPNmjXJyMigXbt2zJs3j9jYWOLj\n41m8eDGHDh3iwgsvZPHixbRu3ZqBAwfSr18/Bg8eXLy/x2nI8ZqGu1WrtJbNkiWwbBkErhlw/vn6\n7x+4NWhgc+lNyCnqVMhypdGYUNW+ffscc8Rfeuklpk2bBkBqairr1q0jNjY2x2MSEhJo3bo1AG3b\ntiUlJaXU2hvxmjbVK11Ba8pv364hv3y5f5s61X98zZoa8klJ/sBv3FgvpjImxAVvuBfQwy4tlStX\nPvn93LlzmT17Nt999x2VKlWia9euec4hr1Chwsnvy5Yta8MyXhGBunV1693bv//gQfjxR3/YL1sG\n//qXf3plhQq6ulRgD79VK6ha1Zvfw5gzFLzh7oGqVaty8ODBPO/bv38/MTExVKpUiTVr1rBgwYJS\nbp0pFlWrwqWX6uZz/LjOxAns4X/wAbz2mv+YCy88dVinXj0b1jFBy8I9QGxsLB07dqR58+ZUrFiR\n2rVrn7yvZ8+evPLKKyQmJtK4cWM6dOjgYUtNsSpXTssdNGsGN9+s+5yDrVv9vXvf1ylT/I+Li/MH\nvW9o56KL9PmM8VjwnlA1xcJe02J24ICWQgjs5f/4Ixw7pvdHR0OLFjpjp1s3rYQZF+dtm01YsROq\nxpSEatW0DEKnTv59mZla+Cww8CdNgn//W4dtkpJ0fn6PHvq46Gjv2m8ihoW7MWcrKkp76y1awC23\n6L7jx7U+zuef6yIlL76oi4lHR2vAX3GFbq1a6cVZxhSzIv1ViUhPEVkrIutFZGQe998vIqtEZIWI\nfCEi5xV/U40JIeXKQYcO8Ne/wrx5utzgxx/DH/4A27bBn/+sQze1a+tas6+9phdkGVNMCu25i0hZ\nYCxwBZAGLBKR6c65VQGHLQOSnXNHRGQY8DdgUEk02JiQVKUK9OmjG+jJ2tmzdfv8c3jvPd3fqJG/\nV9+1K1hZC3OGitJzbw+sd85tdM4dA94F+gce4Jyb45w7kn1zAdCgeJtpTJipVw9++1v473816H/8\nEf7+dw33N9+EAQN0MfFLLtElCb/6yn/S1pgiKEq41wdSA26nZe/Lz23AzLzuEJGhIrJYRBanB14a\nbkwkE9ELp0aM0AqXe/boUM7DD+uUzFGjoEsXvaL2qqvgH/+An37S+4zJR7GeyRGRwUAy8Hxe9zvn\nxjvnkp1zybVq1SrOH+2JKlWqALB161auu+66PI/p2rUruad85jZmzBiOHDly8raVEI5w5ctrmD/5\nJCxYALt3a9mE3/5WL7YaMULfDBo0gN/9Dt56S8fxjQlQlHDfAjQMuN0ge18OItID+H9AP+dcRC2V\nU69ePaYEXtxymnKHu5UQNjnUqKHDNC+/DOvW6SIlr76qs24++URDv149na1z330wYwYcOuR1q43H\nihLui4BGIpIgIuWBG4DpgQeISBLwbzTYQ7ag9siRIxk7duzJ24899hhPPfUU3bt3p02bNrRo0YIP\nP/zwlMelpKTQvHlzADIyMrjhhhtITExkwIABOWrLDBs2jOTkZJo1a8ajjz4KaDGyrVu30q1bN7p1\n6wb4SwgDjB49mubNm9O8eXPGZNfbsdLCES4+Hm6/XU/C7typVTCffRbq1IFx4/Skbc2acNllWvN+\nwgRd5GTNGjh82OvWm1JS6GwZ59xxEbkHmAWUBV53zv0kIk8Ai51z09FhmCrA/7LX7fzFOdfvbBrm\nQcVfBg0axIgRI7j77rsBmDx5MrNmzWL48OFUq1aNXbt20aFDB/r165fv+qTjxo2jUqVKrF69mhUr\nVtCmTZuT940aNYqaNWty4sQJunfvzooVKxg+fDijR49mzpw5xOW6knHJkiW88cYbLFy4EOccF198\nMZdddhkxMTGsW7eOSZMm8eqrrzJw4EDef/99T0sLG4+UKaNTKtu00emVGRnw9df+WTjPPANZWTkf\nExsL556b/1anjs29DwNFuojJOTcDmJFr3yMB3/co5nZ5IikpiZ07d7J161bS09OJiYmhTp063Hff\nfcyfP58yZcqwZcsWduzYQZ06dfJ8jvnz5zN8+HAAWrZsScuWLU/eN3nyZMaPH8/x48fZtm0bq1at\nynF/bl9//TUDBgw4WZ3ymmuu4auvvqJfv35WWtjkrWJF/1TK557Tq2e3btU59Lm3DRvgyy+1Umag\nqCgdzy/oDSD7fJMJXkF7hapXFX+vv/56pkyZwvbt2xk0aBDvvPMO6enpLFmyhKioKOLj4/Ms9VuY\nTZs28cILL7Bo0SJiYmIYMmTIGT2Pj5UWNkUSFQXnnadbfvbvzzv8f/lFZ+1s2XLqGrUxMQWHf926\nULZsyf5upkBBG+5eGTRoEHfccQe7du1i3rx5TJ48mXPOOYeoqCjmzJnD5s2bC3x8ly5dmDhxIpdf\nfjkrV65kxYoVABw4cIDKlStTvXp1duzYwcyZM+natSvgLzWce1imc+fODBkyhJEjR+KcY9q0abz1\n1lsl8nubCFa9ur98Ql6OH9fZOHmF/+bNOgc/9+yucuV0yUNf2DdqpENHSUm630ollzgL91yaNWvG\nwYMHqV+/PnXr1uXmm2+mb9++tGjRguTkZJo0aVLg44cNG8att95KYmIiiYmJtG3bFoBWrVqRlJRE\nkyZNaNiwIR07djz5mKFDh9KzZ0/q1avHnDlzTu5v06YNQ4YMoX379gDcfvvtJCUl2RCMKV3lyuma\ntQ0bQsDfbQ4HD0Jqat5vAN98AxMn+uflx8X5g9739YILbJy/mFnJ3zBnr6kJCocOaankZctg6VL9\nunKlnhMAXUTFVxffF/iJibbkYR6s5K8xJnhUqXLqCljHjumVtoGBP2EC+K75qFBBh4oCA79lSz1p\nbApl4W6M8Ub58hrYSUnw+9/rvhMn9EKtwMCfMkUv2gI9SdukSc7Ab93a+wJrzumJ6Z07IT1dv/q2\nvG7/7W96dXEJCrpwd87lO4fcnB6vhtyMOWO+8G7SBG68Ufc5p2P3gYH/5Zfw9tv+x51/fs7A95VT\nPhuHDxctqH3f+4aYcqteHc45R7eLLtLzFgkJZ9e2IgiqcI+Ojmb37t3ExsZawJ8l5xy7d+8m2lb9\nMaFOxD+d8+qr/ft37NCg921Ll8L77/vvr1s3Z+AnJemnhaIE9c6d/uGh3CpXhlq1NKzr19fn9d32\nbb7bcXE6vOSBoDqhmpmZSVpa2lnN/zZ+0dHRNGjQgCg7KWUixf79/sXMfb381atPnacfqHz5nIGc\nO6ADb9eqpeHuoZA8oRoVFUVCKXxcMcaEqerVtabOZZf592VkaL18Xz2T3IFdrVpYzrsPqnA3xphi\nV7EitG+vWwSxqwaMMSYMWbgbY0wY8uyEqoikAwUXaslfHLCrGJsT6uz1yMleDz97LXIKh9fjPOdc\noUvZeRbuZ0NEFhflbHGksNcjJ3s9/Oy1yCmSXg8bljHGmDBk4W6MMWEoVMN9vNcNCDL2euRkr4ef\nvRY5RczrEZJj7sYYYwoWqj13E8FEZK6I7BURb4p2GBMCLNxNSBGReKAz4IB+pfhz7WpuE1JCLtxF\npKeIrBWR9SIy0uv2eEVEGorIHBFZJSI/ici9XreplPwWWAD8BzhZEFtEKorIiyKyWUROiMgeEamY\nfV8nEflWRPaJSKqIDMneP1dEbg94jiEi8nXAbScid4vIOmBd9r5/ZD/HARFZIiKdA44vKyIPi8gG\nETmYfX9DERkrIi8G/hIiMl1E7iuJFyjgZ9QQkSkiskZEVovIJSX584KZiNyX/f9kpYhMEpHwL5fq\nnAuZDSgLbADOB8oDPwBNvW6XR69FXaBN9vdVgZ8j4bUA1gN3AW2BTKB29v6xwFzgMWAS8A1QATgP\nOAjcCEQBsUDr7MfMBW4PeO4hwNcBtx3wOVATqJi9b3D2c5QDHgC2A9HZ9z0I/Ag0BgRolX1se2Ar\nUCb7uDjgiK/tJfhaven7/bL/v9Tw+t/Po7+Z+sCmgH/DycAQr9tV0luo9dzbA+udcxudc8eAd4H+\nHrfJE865bc65pdnfHwRWo3/EYUtEOqFhPdk5twR9o79JRMoAvwdGoUM2rwJ7nXO/AjcBs51zk5xz\nmc653c655afxY59xzu1xzmUAOOfezn6O4865F9E3kMbZx94O/MU5t9apH7KP/R7YD3TPPu4GYK5z\nbsfZvB4FEZHqQBfgtex2H3PO7SupnxcCygEVs4fXKqFvtmEt1MK9PpAacDuNMA+0osgeh04CFnrb\nkhL3O+Az55zv8vGJ2fvigGi0R/8nICvgMQ3RN4EzFfj3hoj8MXuIY7+I7AOqZ//8wn7Wm2ivn+yv\nb51Fm4oiAUgH3hCRZSIyQUS8LUTuEefcFuAF4BdgG7DfOfeZt60qeaEW7iYXEakCvA+McM4d8Lo9\nJSV7/HwgcJmIbBeR7cB96NBHXeAYcCy7Rx8oFbggn6c9jPbifOrkcczJucLZ4+t/ym5HjHOuBtoj\n9xUDL+hnvQ30F5FWQCLwQT7HFZdyQBtgnHMuCf1dI/IclYjEoJ/wE4B6QGURGVzwo0JfqIX7FrR3\n5NMge19EEpEoNNjfcc5N9bo9Jexq4ATQFGidvSUCX6EnWVei4ZmKDtf1EJGJwDvZ3w8UkXIiEisi\nrbOfczlwjYhUEpELgdsKaUNV4DjaIy4nIo8A1QLunwA8KSKNRLUUkVgA51wasAjtsb/vG+YpQWlA\nmnPO92luChr2kagHsMk5l+6cywSmApd63KYSF2rhvghoJCIJIlIeHbuc7nGbPCG6yOxrwGrn3Giv\n21MKfgfXWeRWAAAbbUlEQVS84Zz7xTm33bcB/wJuBroCr6B/01XQnuptzrlfgN7oyc89aKC3yn7O\nv6M9/h3osMk7hbRhFvApevJ6M3CUnMM2o9GTdZ8BB9B/n4oB978JtKDkh2TIfm1SRcR3PqA7sKqk\nf26Q+gXokP0mLuhrsdrjNpW4kLtCVUR6A2PQmTOvO+dGedwkT2SfXPwKnZ3hG2N+2Dk3w7tWBQcR\n6Qr80Tl3lddtCSQiXdDhmfNcKfzHy/6EMgGdKbMRuNU5t7ekf24wEpHHgUHoJ69l6CyiX71tVckK\nuXA3JhRlD6G9C/zgnHvC6/aY8BdqwzLGhBwRSQT2oSd+x3jcHBMhrOdujDFhyHruxhgThjwrhhQX\nF+fi4+O9+vHGGBOSlixZsssVYQ1Vz8I9Pj6exYsXe/XjjTEmJInI5qIcZ8MyxhgThqxGtTEmfDkH\nBw/Cli2wdSuUKQMxMf6talUQKfx5QpCFuzEmNGVmwvbtGty+bevWnLe3bIHDh/N/jrJloUaNnIEf\nEwM1a566L/cW5G8MQRXumZmZpKWlcfToUa+bEhaio6Np0KABUVFRXjfFmKJzDvbtKzy0d+7UYwOV\nLw/16kH9+tCqFfTurd/Xr6/7nYO9e/3bnj05b+/dC5s2+b8/cSL/dvreGIryRpD7DaNKlRJ/Ywiq\ncE9LS6Nq1arEx8cjQfyOGAqcc+zevZu0tDQSEhK8bo4x6tixnEGdV2hv3QoZedRVi4vzh3SbNv7Q\n9u2rX1+PKa7s8A3p5A7//N4c9uyBDRv8t7Oy8n/uf/4T7rmneNqZj6AK96NHj1qwFxMRITY2lvT0\ndK+bYsKZc3DgAKSnF7xt26ahndffY3S0P6Dbtcs7tOvVgwqlvB66CFSrptt5553eY7OyCn5j6NSp\nZNocIKjCHbBgL0b2WprTlpWlQyKFhfXOnfp11y7tjeelUiU45xyoVQsaNoQOHU4N7fr1dZgi3P5W\ny5SB6tV18+h6nqALd2NMMTpxQocLCgtrX2Dv2pX/OHPVqhrUvrBu29Z/O6+tUqW8n8eUCgv3APv2\n7WPixIncddddp/W43r17M3HiRGrUqFFCLTOmCI4cgeXLYdEiWLxYv65bl//Yb40a/iA+/3y4+GL9\n3tfbDtzi4nT4xIQMC/cA+/bt4+WXXz4l3I8fP065cvm/VDNmRHwJdVPafv0VfvwxZ5D/9JM/yOvW\n1fHra6+F2rX9Ie0L7rg4sFlUYS14w33ECO2FFKfWrWFM/hVXR44cyYYNG2jdujVRUVFER0cTExPD\nmjVr+Pnnn7n66qtJTU3l6NGj3HvvvQwdOhTwl1I4dOgQvXr1olOnTnz77bfUr1+fDz/8kIoVK+b7\nM40p1PHjsGqVP8QXL4YVK/xj3bGxGuT9++vX5GQd0zYRLXjD3QPPPvssK1euZPny5cydO5c+ffqw\ncuXKk1MJX3/9dWrWrElGRgbt2rXj2muvJTY2NsdzrFu3jkmTJvHqq68ycOBA3n//fQYPDvu1eE1x\nycrSoZTAHvmyZf6pgdWq6Vj3iBEa4u3a6UyOcDshac5a8IZ7AT3s0tK+ffscc8Rfeuklpk2bBkBq\nairr1q07JdwTEhJo3VrXX27bti0pKSml1l4TYpyDlJScQb5kiU6hA6hYUedz33mnP8gvvFBnYhhT\niOAN9yBQuXLlk9/PnTuX2bNn891331GpUiW6du2a55W0FQLm4pYtW5aMvC7GMJFpy5acQyuLF8Pu\n3Xpf+fJ6ReXgwf6hlcREKOBcjzEFsb+cAFWrVuWgr9eUy/79+4mJiaFSpUqsWbOGBQsWlHLrTEhJ\nT/cHuC/Mt23T+8qWhebN4eqr/UHeooUGvDHFxMI9QGxsLB07dqR58+ZUrFiR2rVrn7yvZ8+evPLK\nKyQmJtK4cWM6dOjgYUuN5/bt0yGV3Nvmzfp13z49TgQaN4YePfxDK61a2RxwU+I8W0M1OTnZ5V6s\nY/Xq1SQmJnrSnnBlr+kZ8BWuyh3Ygdv+/TkfU7myXono284/X8fL27TRk6DGFBMRWeKcSy7sOOu5\nm8iTO7zz2g4cyPmYKlX8wd25c84gj4/Xin82Y8UEEQt3E358ZV0LCu/c51aqVIGEBA3qyy7T6YUW\n3iaEWbib8LBuHUyaBB98AOvXnxreVav6g7pr11N73uFYvMpENAt3E7q2bIH33oOJE3V+uIiWUr31\n1lPDu0YNC28TUSzcTWjZswfef18Dfd48HYJJToYXX4RBg7SErDHGwt2EgMOHYfp0HXb59FNdO7Nx\nY3jsMbjhBrjoIq9baEzQseuYz0KVKlUA2Lp1K9ddd12ex3Tt2pXcUz5zGzNmDEeOHDl5u3fv3uzz\nzZOOVMeOwUcfwU03aSXDm27SGiv33gtLl8Lq1fDIIxbsxuTDeu7FoF69ekyZMuWMHz9mzBgGDx5M\npewLWyK2hHBWFsyfr0MuU6bojJeaNeGWWzTcO3WyuirGFFHQhrsHFX8ZOXIkDRs25O677wbgscce\no1y5csyZM4e9e/eSmZnJU089Rf/+/XM8LiUlhauuuoqVK1eSkZHBrbfeyg8//ECTJk1y1JYZNmwY\nixYtIiMjg+uuu47HH3+cl156ia1bt9KtWzfi4uKYM2fOyRLCcXFxjB49mtdffx2A22+/nREjRpCS\nkhI+pYWd0574xInw7ru6zmblynpp/o03whVX2GX5xpyBoA13LwwaNIgRI0acDPfJkycza9Yshg8f\nTrVq1di1axcdOnSgX79++a5POm7cOCpVqsTq1atZsWIFbdq0OXnfqFGjqFmzJidOnKB79+6sWLGC\n4cOHM3r0aObMmUNcXFyO51qyZAlvvPEGCxcuxDnHxRdfzGWXXUZMTEzolxZeu1bH0CdO1GmMUVHQ\nq5f20K+6SgPeGHPGgjbcvaj4m5SUxM6dO9m6dSvp6enExMRQp04d7rvvPubPn0+ZMmXYsmULO3bs\noE6dOnk+x/z58xk+fDgALVu2pGXLlifvmzx5MuPHj+f48eNs27aNVatW5bg/t6+//poBAwacrE55\nzTXX8NVXX9GvX7/QLC2clqa980mTtLcuAt26wZ/+pCsGxcR43UJjwkbQhrtXrr/+eqZMmcL27dsZ\nNGgQ77zzDunp6SxZsoSoqCji4+PzLPVbmE2bNvHCCy+waNEiYmJiGDJkyBk9j0/IlBbevVvHzydO\nhK++0mGYdu3g73+HgQNtxSBjSoidncpl0KBBvPvuu0yZMoXrr7+e/fv3c8455xAVFcWcOXPYvHlz\ngY/v0qULEydOBGDlypWsWLECgAMHDlC5cmWqV6/Ojh07mDlz5snH5FdquHPnznzwwQccOXKEw4cP\nM23aNDp37lyMv20JOXQI3nlHh1fq1IE//AF27oTHH9chmO+/15MqFuzGlBjruefSrFkzDh48SP36\n9albty4333wzffv2pUWLFiQnJ9OkSZMCHz9s2DBuvfVWEhMTSUxMpG3btgC0atWKpKQkmjRpQsOG\nDenYsePJxwwdOpSePXtSr1495syZc3J/mzZtGDJkCO3btwf0hGpSUlJwDsH8+ivMmqU99OnTdVm4\nhg3h/vv1xGirVnaFqDGlyEr+hrkSf00zM2H8eHjiCe2dx8XB9dfridFLL7Wpi8YUMyv5a0qWczB1\nKjz0kA61dO0Kb7yhUxejorxunTERz8LdnL5vvoEHH4TvvoNmzeCTT3Qaow27GBM0gu4zs1fDROGo\n2F/LtWvhmmv0StGUFJgwQa80693bgt2YIBNU4R4dHc3u3bst4IuBc47du3cTHR199k+2YwfcdZf2\n0mfPhqee0qGY226Dcvbhz5hgVKT/mSLSE/gHUBaY4Jx7Ntf95wJvAjWyjxnpnDvtAikNGjQgLS2N\n9PT0032oyUN0dDQNGjQ48yc4fBhGj4a//Q2OHtUpjY88ooW8jDFBrdBwF5GywFjgCiANWCQi051z\nqwIO+wsw2Tk3TkSaAjOA+NNtTFRUFAkJCaf7MFPcjh/Xk6OPPgrbtunVo08/bRUYjQkhRRmWaQ+s\nd85tdM4dA94F+uc6xgG+Jd6rA1uLr4mm1DgHH3+sc9KHDtU1Rb/5Rq8wtWA3JqQUJdzrA6kBt9Oy\n9wV6DBgsImlor/3/8noiERkqIotFZLENvQSZRYu0zkvfvtpznzoVvv5a56obY0JOcZ1QvRH4j3Ou\nAdAbeEtETnlu59x451yycy65Vq1axfSjzVnZuFGvIG3fXhfAePllWLkSBgwo8gwY5/Qh33+vT5GW\nBvv3w4kTJdx2Y0y+inJCdQvQMOB2g+x9gW4DegI4574TkWggDthZHI00JWD3bp31MnasXnT017/q\n3PWqVYv8FLmr9ualYkV9ytxblSqnv79KFShbtph+f1MqsrJ0zZWAhcY8VamSrpUeCX9HRQn3RUAj\nEUlAQ/0G4KZcx/wCdAf+IyKJQDRg4y7BKCMDXnoJnnkGDh7U6YyPPVbkIl5pafDeexrovqq9l1+u\nVXvr1tWnDNwOHTp1344dsGFDzmOKOvu1UqWC3wxq1NDRpe7dIaBwpikmvrBOT9dt586cX3Pv2707\nOD/BVaumFaZjYnSxL9/3+W2+Y6pXD503hiLVlhGR3sAYdJrj6865USLyBLDYOTc9e4bMq0AV9OTq\nn5xznxX0nHnVljElKCsL3n4b/vIXSE3Vio3PPqtz1wuxZ4+eU500CebN81ftvemm4qnam5WlPbv8\n3gxOZ/+ePVrDrGpVvbZqwAD9ehofSCJKVhbs21e0oE5Ph1278g/rGjV0lmytWroFfl+5svfXuTmn\ns3v37s1/8/39FKR69YLfAPLbiuuNoai1ZYKqcJgpIZ9/rkMuP/wAycnw/PNaC6YAhw/r+tQTJ8Kn\nn2p9sMaN4eabdYj+wgtLp+mn69df4csvYdo0+OADDaQKFaBHDw36fv00bMKdc3o6ZcWKgkM7Pb3g\nsM4d1PmFd1xc+KyGmJFR+BtAfvcV9MYg4n9jeOop7RydCQt3o2H+pz/BZ5/ptMZnntGKjflUaszM\n1EMnToQPP9SAr19fw/ymm3QNWq97X6fjxAn49lsN+mnTtGJCmTLQubMG/YABcO65XreyePjCfO5c\n/5aWlvOY6tXzD+fc4R1OYV2afG8MBb0B7N0LQ4bo0OGZsHCPZKmpOvzy1lvaTfjrX2HYsDwHobOy\ndMbjpEnwv//pGGnNmv6qvZ06hUfVXuf0vW7qVA36lSt1f5s2Wi5nwABITAydNy/nYNMmDfE5c3KG\nee3a+sGsa1cdPqtTR8PazkGEBwv3SLRvn46j+xagHTECRo7Uz9cBfEE3caKGelqanqjs318D/cor\nw7/Xtn69hvzUqbBgge676CIN+Wuu0dGrYHpTCwxz35aaffXJOef4w7xrV2jSJHTepMzps3CPJL/+\nCuPGwZNP6me+W27R73ONOaxf75+6uGaN1vzq2VMDvV8/PekVibZu1WGoadO0F3z8uA5HXX21hn2X\nLqVfot45HUYKDPNfftH7LMwjm4V7JHBOx1JGjtRu3RVXaJGv1q1PHrJtG0yerIH+/fe6r0sXDfTr\nroPYWI/aHqT27tUKDNOm6YnkjAwdpurbV4P+yit17n5JyN0z94V5rVo5wzyUho9M8bNwD3fLl8O9\n98L8+dCypc6AufJKQEdnpk7VQJ8zR8fVk5I00AcN0qVNTeGOHNFlYadN05lD+/bp8FWvXhr0ffqc\nMuJ1WnL3zH1rr8fF+YO8WzcLc5OThXu4Sk/XE6Svvqpdyqefht//noxjZfn4Yw30GTPg2DG44AIN\n9Btv1IAwZy4zU+f4T52qUyy3bdOhmm7ddIy+f389cVmQzZtzngDNK8y7doWmTS3MTf4s3MNNZqbW\nfXnsMb1y5557OPLgo3y5tAb/+5/2Lg8e1IC54QYN9eRkC4mSkJWlQ1y+E7Lr1+vrfMkl/imWF1zg\nD3PflpKij4+Lg8suy9kzD6aTtya4WbiHk88/hxEjcKtWsbbjbczsNIqZS2szf76eS61eXUuu33ST\nBkaoXB4dDpyDn37yz6Vftkz3x8Xp1Zyg5zVy98wtzM2ZsnAPBxs2cGj4w3w5I4OZ1QbxafQAUnZW\nAnSGRK9eunXpYnOYg8WmTTpss3y5fnLq1s3C3BSvooa7LYAZZJyDVYsOM3PkPGbOrchX7i0yKU/l\nE47uHYQ/99Lpi/HxXrfU5CUhAe67z+tWGGPhHhQOHIAvvoCZMxyfTj1C6p7KQG+a1Ujj3huO0ev6\n8nTsKNY7N8YUmYW7B5zTgk6ffgozZ+pKdsePQ9WyR+hxYhZ/jV9Dz3/0omG/JK+baowJURbupWTf\nPpg9W8P800/1qkiAVs0yeaDJZ/Ra+TcujdtI1HNPwS0jbZDWGHNWLNxLSFaWnlTz9c6/+06rFFav\nrheS9uqRSc/UV6n30kg4ehT+dB/8v490FQFjjDlLFu7FaM8eLZn76ae67dih+9u0gT//WWe2dLjY\nUW7WJ3rWbf16XTRj9Gho1MjbxhtjwoqF+1nIyoIlS/y984ULdV/NmloJoGdP+M1vAq5cXLMG+t2n\nD2jcWB/Us6env4MxJjxZuJ+mjAztnU+bppf5p6fr1YnJyVpCvWdPaN8+14VE+/fD44/DP/+pxUlG\nj4Z77in9UoPGmIhh4V4E+/bBJ59ooM+cqQWlatTQtTl79dLeeZ5Lt504AW+8AQ8/rJcr3nYbjBql\nNVuNMaYEWbjnY/t2rfE9daoWesrM1OGV3/1Oa4d07VpIx/ubb2D4cFi6FDp21HeFtm1Lq/nGmAhn\n4R5gwwZ/jZDvvtP56BdeqAsaDRgAF19chBmKaWm6bumkSbriw8SJWsnLKngZY0pRRIe772IiX6Cv\nWKH7W7fW4osDBkDz5kXM5YwMePFFXYT6xAkdgB85MnKXNzLGeCriwj0rS3vlvkDfuFHDu2NHPc95\n9dVaH6TInNOxmz/+UWu6XnMNvPDCaT6JMcYUr4gI92PHdNx86lQdR9+xQ8fLe/TQznW/frpi/Gn7\n8UddDWnOHO3if/EFXH55sbffGGNOV9iG+6FDOp182jSd6bJ/v46Q9O6twy29e+vVomfk8GEddnnp\nJX2Sf/0L7rxTV5w2xpggEFZptHu3rnU5bZrORT96VBdKuOYa3Xr0gOjos/wh8+bplMYNGzTQR42y\nVaaNMUEn5MM9LU0XR5g6VdeKPnFCF4AeOlR76J06FVOH+tAhHcMZOxbOP1+HYrp2LYYnNsaY4heS\n4b52rX/9ykWLdF9iotZvGTBAp5MX68zDL7/U3vrmzTp3/emnbRaMMSaohVy4jxqlw90A7dppzg4Y\noMvOFbsDB3TO+r//rYW95s/XjwLGGBPkQi7c+/TRc5j9++vwS4n57DO44w5ITYX774cnn9S6MMYY\nEwJCLtxbt9atxOzfDw88AK+9ppUbv/kGLrmkBH+gMcYUP1vuJ9DMmTpf/Y03dDhm2TILdmNMSLJw\nB9i7F4YM0cnv1arpJazPPQcVK3rdMmOMOSMW7tOnQ7Nm8PbbWpp36VItyG6MMSGsSOEuIj1FZK2I\nrBeRkfkcM1BEVonITyIysXibWQJ274bBg/XMbFycLqM0ahRUqOB1y4wx5qwVekJVRMoCY4ErgDRg\nkYhMd86tCjimEfAQ0NE5t1dEgns1iqlT4a67NOAfeQT+3/+D8uW9bpUxxhSbovTc2wPrnXMbnXPH\ngHeB/rmOuQMY65zbC+Cc21m8zSwm6elaW/3aa6FuXb0C6vHHLdiNMWGnKOFeH0gNuJ2WvS/QRcBF\nIvKNiCwQkeBb9fl//9Ox9alT4Ykn4PvvS3hOpTHGeKe45rmXAxoBXYEGwHwRaeGc2xd4kIgMBYYC\nnHvuucX0owuxYwfcfTe8/77WJfjiC2jRonR+tjHGeKQoPfctQOC1oA2y9wVKA6Y75zKdc5uAn9Gw\nz8E5N945l+ycS66V54rSxcg5XequWTMtFfn007BggQW7MSYiFCXcFwGNRCRBRMoDNwDTcx3zAdpr\nR0Ti0GGajcXYztOzbZsWnLnpJl0EddkyeOghq7dujIkYhYa7c+44cA8wC1gNTHbO/SQiT4hIv+zD\nZgG7RWQVMAd40Dm3u6QaXUBj4a23tLf+6afw/PNaPqBp01JvijHGeEmcc5784OTkZLd48eLie8It\nW3TxjE8+gUsvhddf19owxhgTRkRkiXMuubDjQv8KVee0FkyzZlp3/e9/19K8FuzGmAgW2oPQqala\nlnfWLOjcWXvrF17odauMMcZzodlzdw5efVV76199Bf/8J8yda8FujDHZQq/nnpKivfXZs6FbN5gw\nQdc0NcYYc1Lo9dzffVfnq48bpwFvwW6MMacIvZ77Aw/o/PXSusLVGGNCUOj13KOiLNiNMaYQoRfu\nxhhjCmXhbowxYcizK1RFJB3YfIYPjwN2FWNzQp29HjnZ6+Fnr0VO4fB6nOecK7TyomfhfjZEZHFR\nLr+NFPZ65GSvh5+9FjlF0uthwzLGGBOGLNyNMSYMhWq4j/e6AUHGXo+c7PXws9cip4h5PUJyzN0Y\nY0zBQrXnbowxpgAW7sYYE4ZCLtxFpKeIrBWR9SIy0uv2eEVEGorIHBFZJSI/ici9XrcpGIhIWRFZ\nJiIfe90Wr4lIDRGZIiJrRGS1iFzidZu8IiL3Zf8/WSkik0Qk2us2lbSQCncRKQuMBXoBTYEbRSRS\nF0g9DjzgnGsKdADujuDXItC96Fq/Bv4BfOqcawK0IkJfFxGpDwwHkp1zzYGywA3etqrkhVS4A+2B\n9c65jc65Y8C7QH+P2+QJ59w259zS7O8Pov9x63vbKm+JSAOgDzDB67Z4TUSqA12A1wCcc8ecc/u8\nbZWnygEVRaQcUAnY6nF7SlyohXt9IDXgdhoRHmgAIhIPJAELvW2J58YAfwKyvG5IEEgA0oE3soep\nJohIZa8b5QXn3BbgBeAXYBuw3zn3mbetKnmhFu4mFxGpArwPjHDOHfC6PV4RkauAnc65JV63JUiU\nA9oA45xzScBhICLPUYlIDPoJPwGoB1QWkcHetqrkhVq4bwEaBtxukL0vIolIFBrs7zjnpnrdHo91\nBPqJSAo6XHe5iLztbZM8lQakOed8n+amoGEfiXoAm5xz6c65TGAqcKnHbSpxoRbui4BGIpIgIuXR\nkyLTPW6TJ0RE0PHU1c650V63x2vOuYeccw2cc/Ho38WXzrmw753lxzm3HUgVkcbZu7oDqzxskpd+\nATqISKXs/zfdiYCTyyG1zJ5z7riI3APMQs94v+6c+8njZnmlI3AL8KOILM/e97BzboaHbTLB5f+A\nd7I7QhuBWz1ujyeccwtFZAqwFJ1ltowIKENg5QeMMSYMhdqwjDHGmCKwcDfGmDBk4W6MMWHIwt0Y\nY8KQhbsxxoQhC3djjAlDFu7GGBOG/j+XhcMX0P2KDgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1b38e3990>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: inceptionv3-l2-final.h5 ===\n",
      "\n",
      "Accuracy: 0.796\n",
      "\n",
      "Confusion Matrix\n",
      "[[343  79]\n",
      " [ 84 294]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.80      0.81      0.81       422\n",
      "          1       0.79      0.78      0.78       378\n",
      "\n",
      "avg / total       0.80      0.80      0.80       800\n",
      "\n",
      "=== Evaluating model: inceptionv3-l2-best.h5 ===\n",
      "\n",
      "Accuracy: 0.772\n",
      "\n",
      "Confusion Matrix\n",
      "[[308 125]\n",
      " [ 57 310]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.84      0.71      0.77       433\n",
      "          1       0.71      0.84      0.77       367\n",
      "\n",
      "avg / total       0.78      0.77      0.77       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"inceptionv3\", \"l2\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[0, 3] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "source": [
    "# ResNet 50 Vectors"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "VECTOR_SIZE = 2048\n",
    "VECTOR_FILE = os.path.join(DATA_DIR, \"resnet-vectors.tsv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "vec_dict = load_vectors(VECTOR_FILE)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Concatenate vectors"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Concatenate(axis=-1)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 1s - loss: 0.6717 - acc: 0.6396 - val_loss: 0.4275 - val_acc: 0.7865\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.3831 - acc: 0.8181 - val_loss: 0.3232 - val_acc: 0.8490\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.2521 - acc: 0.8962 - val_loss: 0.2137 - val_acc: 0.9193\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.1714 - acc: 0.9319 - val_loss: 0.2705 - val_acc: 0.8802\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.1256 - acc: 0.9458 - val_loss: 0.3515 - val_acc: 0.8802\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.0875 - acc: 0.9667 - val_loss: 0.2500 - val_acc: 0.9167\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.0757 - acc: 0.9726 - val_loss: 0.3396 - val_acc: 0.8880\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.0649 - acc: 0.9747 - val_loss: 0.2620 - val_acc: 0.9089\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0572 - acc: 0.9788 - val_loss: 0.2995 - val_acc: 0.9193\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.0312 - acc: 0.9885 - val_loss: 0.3742 - val_acc: 0.9193\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"resnet50\", \"cat\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJztnXl4VOX1xz+HJBh2YgLKpkGlEvZABFpEsbigIq5srVas\niuWnRa1aUVu3urUqotW6YHFp3Si4oGJxA8UqCggim4AsEhDZ9y3L+f1xZpgkZBlgJpOZnM/z3Gdm\n7n3vvWduJt/73vOe9xxRVRzHcZzEokasDXAcx3Eij4u74zhOAuLi7jiOk4C4uDuO4yQgLu6O4zgJ\niIu74zhOAuLi7jiOk4C4uDsJj4gsF5FTY22H41QmLu6O4zgJiIu7U20RkStFZImIbBSRCSLSNLBe\nROQREVkrIltF5FsRaRfYdpaIzBeRbSKySkRujO23cJzScXF3qiUi8kvgfmAA0ARYAbwa2Hw6cBLw\nM6BBoM2GwLZ/Alepaj2gHfBxJZrtOGGTHGsDHCdG/BoYo6pfA4jILcAmEckE8oB6QGvgK1VdUGS/\nPKCNiHyjqpuATZVqteOEiffcnepKU6y3DoCqbsd6581U9WPgceAJYK2IPCMi9QNNLwTOAlaIyCci\n8vNKtttxwsLF3amurAaODn4QkTpAOrAKQFUfU9UuQBvMPXNTYP10VT0XaAy8CYytZLsdJyxc3J3q\nQoqIpAYX4BXgMhHpJCKHAfcBX6rqchE5QUS6iUgKsAPYDRSKSE0R+bWINFDVPGArUBizb+Q45eDi\n7lQXJgK7iiy9gD8D44EfgWOBQYG29YHRmD99BeaueTCw7RJguYhsBX6H+e4dp8ohXqzDcRwn8fCe\nu+M4TgLi4u44jpOAuLg7juMkIC7ujuM4CUjMZqhmZGRoZmZmrE7vOI4Tl8ycOXO9qjaqqF3MxD0z\nM5MZM2bE6vSO4zhxiYisqLiVu2Ucx3ESkvgU9x07Ym2B4zhOlSb+xP2pp6BtW1izJtaWOI7jVFni\nL+Vvt26wbh2cdx5MmQKpqbG2yHEcIC8vj9zcXHbv3h1rUxKC1NRUmjdvTkpKykHtH3/inp0N//43\nXHABXH65vReJtVWOU+3Jzc2lXr16ZGZmIv4/eUioKhs2bCA3N5eWLVse1DHizy0DcP75cN998PLL\ncP/9sbbGcRxg9+7dpKenu7BHABEhPT39kJ6C4q/nHmTECJg/H267DVq3tp684zgxxYU9chzqtYzP\nnjuYK2b0aOjeHS65BL7+OtYWOY7jVBniV9zBBlPffBPS06FfP/jxx1hb5DhOjNi8eTP/+Mc/Dni/\ns846i82bN0fBotgS3+IOcMQR8PbbsHkznHsu7NoVa4scx4kBZYl7fn5+uftNnDiRhg0bRsusmBGW\nuItIHxH5TkSWiMiIMtoMEJH5IjJPRF6OrJkV0LGjDa7OmAGXXQZegMRxqh0jRozg+++/p1OnTpxw\nwgn07NmTfv360aZNGwDOO+88unTpQtu2bXnmmWf27ZeZmcn69etZvnw5WVlZXHnllbRt25bTTz+d\nXXHcWaxwQFVEkrAq8KcBucB0EZmgqvOLtGkF3AL0UNVNItI4WgaXSb9+8MADcPPN0KYN3H57pZvg\nOE6A666D2bMje8xOnWDUqDI3P/DAA8ydO5fZs2czZcoUzj77bObOnbsvlHDMmDEcfvjh7Nq1ixNO\nOIELL7yQ9PT0YsdYvHgxr7zyCqNHj2bAgAGMHz+eiy++OLLfo5IIp+feFViiqktVdS/wKnBuiTZX\nAk+o6iYAVV0bWTPD5Kab4NJL4Y474D//iYkJjuNUDbp27VosRvyxxx6jY8eOdO/enZUrV7J48eL9\n9mnZsiWdOnUCoEuXLixfvryyzI044YRCNgNWFvmcC3Qr0eZnACLyPyAJuFNV/1vyQCIyFBgKcNRR\nRx2MveUjAk8/DUuWmMi3bAk5OZE/j+M45VNOD7uyqFOnzr73U6ZM4cMPP+SLL76gdu3a9OrVq9QY\n8sMOO2zf+6SkpLh2y0RqQDUZaIVVlB8MjBaR/UYoVPUZVc1R1ZxGjSpMR3xwHHYYvP46NG5sA6yr\nVkXnPI7jVCnq1avHtm3bSt22ZcsW0tLSqF27NgsXLmTatGmVbF3lE464rwJaFPncPLCuKLnABFXN\nU9VlwCJM7GND48YWQbN1qwn8zp0xM8VxnMohPT2dHj160K5dO2666aZi2/r06UN+fj5ZWVmMGDGC\n7t27x8jKykO0gsgSEUnGxLo3JurTgV+p6rwibfoAg1X1UhHJAGYBnVR1Q1nHzcnJ0agX63jnHRto\nvfBCeO01qBH/kZ+OU1VZsGABWVlZsTYjoSjtmorITFWt0N9codqpaj5wDTAJWACMVdV5InK3iPQL\nNJsEbBCR+cBk4KbyhL3S6NsXHnwQxo2Du+6KtTWO4ziVRli5ZVR1IjCxxLrbi7xX4A+BpWrxhz9Y\nDpq774asLBg0KNYWOY7jRJ3E91OIwJNPwkkn2QSnr76KtUWO4zhRJ/HFHaBmTRg/Hpo0sQHW3NxY\nW+Q4jhNVqoe4A2RkWATNjh02yOp1WB3HSWCqj7iD1V597TX45hv4zW+gsDDWFjmO40SF6iXuAGee\nCQ8/bBOdPP+M41Rb6tatC8Dq1au56KKLSm3Tq1cvKgrZHjVqFDuLzKWpKimEq5+4A1x7LVx5Jdx7\nL7z0UqytcRwnhjRt2pRx48Yd9P4lxb2qpBCunuIuAo8/Dr16WZHtajAV2XESnREjRvDEE0/s+3zn\nnXdyzz330Lt3bzp37kz79u1566239ttv+fLltGvXDoBdu3YxaNAgsrKyOP/884vllhk2bBg5OTm0\nbduWO+64A7BkZKtXr+aUU07hlFNOAUIphAFGjhxJu3btaNeuHaMC+XYqK7Vw/NZQPVRq1rTJTd26\nwXnnWYhkNJKZOU41JAYZfxk4cCDXXXcdV199NQBjx45l0qRJDB8+nPr167N+/Xq6d+9Ov379yqxP\n+uSTT1K7dm0WLFjAnDlz6Ny5875t9957L4cffjgFBQX07t2bOXPmMHz4cEaOHMnkyZPJyMgodqyZ\nM2fy3HPP8eWXX6KqdOvWjZNPPpm0tLRKSS1cPXvuQdLTLYJm1y6LoNm+PdYWOY5zkGRnZ7N27VpW\nr17NN998Q1paGkceeSS33norHTp04NRTT2XVqlX89NNPZR7j008/3SeyHTp0oEOHDvu2jR07ls6d\nO5Odnc28efOYP39+WYcB4LPPPuP888+nTp061K1blwsuuICpU6cClZNauPr23INkZcHYsXDWWXDx\nxTbQ6jloHOeQiFXG3/79+zNu3DjWrFnDwIEDeemll1i3bh0zZ84kJSWFzMzMUlP9VsSyZct46KGH\nmD59OmlpaQwZMuSgjhOkMlILu4oBnHGG/Rrfegtuuy3W1jiOc5AMHDiQV199lXHjxtG/f3+2bNlC\n48aNSUlJYfLkyaxYsaLc/U866SReftmqhM6dO5c5c+YAsHXrVurUqUODBg346aefeO+99/btU1aq\n4Z49e/Lmm2+yc+dOduzYwRtvvEHPnj0j+G3Lx3vuQa65xnLQPPCA9eZ/85tYW+Q4zgHStm1btm3b\nRrNmzWjSpAm//vWvOeecc2jfvj05OTm0bt263P2HDRvGZZddRlZWFllZWXTp0gWAjh07kp2dTevW\nrWnRogU9evTYt8/QoUPp06cPTZs2ZfLkyfvWd+7cmSFDhtC1a1cArrjiCrKzsyutulOFKX+jRaWk\n/D1Q8vKgTx/47DOYPBl+8YtYW+Q4cYOn/I08UU35W61ISbHaq0cfbRE0FTzCOY7jVFVc3Ety+OEW\nQZOXB+ecA2WU7XIcx6nKuLiXxvHHWwTN/Pnwq19BQUGsLXKcuCBWbt5E5FCvpYt7WZx2Gjz2mJXq\nu+WWWFvjOFWe1NRUNmzY4AIfAVSVDRs2kJqaetDHiLtomSlT4IUXLD1MYA5A9Pi//7Pe+4MPWgTN\nZZdF+YSOE780b96c3Nxc1q1bF2tTEoLU1FSaN29+0PvHnbgvWmQek+eft+JK115r9TeSkqJ0wlGj\n4Lvv4Kqr4LjjoBLjVB0nnkhJSaFly5axNsMJEJZbRkT6iMh3IrJEREaU0+5CEVERqTBM52AZOtQK\nKT34oAWzXHghHHssPPQQbNoUhRMmJ9vd5Jhj4IILYNmyKJzEcRwnslQo7iKSBDwBnAm0AQaLSJtS\n2tUDrgW+jLSRJUlLgxtvhO+/t2wBmZlw003QvDkMGwYLFkThhG+/bQOr55wDW7dG+ASO4ziRJZye\ne1dgiaouVdW9wKvAuaW0+wvwV+DgEy4cIElJcP755oefNQsGDoTnnoM2bSyjwMSJESy21KqVZZH8\n7jsYPNgjaBzHqdKEI+7NgJVFPucG1u1DRDoDLVT13fIOJCJDRWSGiMyI9KBLp04wZgysXAn33ANz\n58LZZ0Pr1vD3v0coXP2Xv7Q88BMnwh//GIEDOo7jRIdDDoUUkRrASOCGitqq6jOqmqOqOY0aNTrU\nU5dKo0aW+2vZMnj5ZZuTNHy4uWyuv95cOYfEVVfZAUeONKH3sC/Hcaog4Yj7KqBFkc/NA+uC1APa\nAVNEZDnQHZgQzUHVcKhZ07wn06bZ0revaXGrVpa6/aOPDkGXH37YarH+/vcWsvPFFxG13XGcxGXh\nQti4MfrnCUfcpwOtRKSliNQEBgETghtVdYuqZqhqpqpmAtOAfqpaZbKCdetmpVJXrLBe/bRpcOqp\n0KEDjB4NRcofhkdyMkyYAE89BUuWWIKxCy80f7zjOE4RCgrg88/Nk3v88TZl5tVXo3/eCsVdVfOB\na4BJwAJgrKrOE5G7RaRftA2MJE2bwl/+Aj/8YAOvyckWWtmiBYwYYf76sElONhfN4sVw993w/vvQ\ntq2F66xZE7Xv4DhO1WfXLpvcfuWVpjs9esAjj1hOwscft7yE0aZap/xVhalT4dFH4c03rW72BRfY\nxKhf/MI+h83atSbyTz8Nhx0GN9xg8Zr16kXNfsdxqg4bNsC771rNn//+1zwC9epZkbfzzjNPboMG\nh36ecFP+oqoxWbp06aJViWXLVG+6SbVhQ1VQ7dJF9YUXVHfvPsADLVqk2r+/HaRxY9UnnlDduzca\nJjsBduxQ/c9/7LI3aqQ6aJDqZ5+pFhbG2jIn0Vm6VPWRR1R79VJNSrJ/+2bNVIcNU500SXXPnsif\nE5ihYWisi3sJtm9XffJJ1awsuzpHHKF6xx2qP/54gAeaNk31pJPsIK1amfq42kSMnTtVx49XHThQ\ntXbt0L20f3/VBg3sc6dOqqNHm/hXR374QfXzz1Xz8mJtSeJQWKg6Y4bqn/+s2qGD/c5AtV071dtu\nU/3qK9WCguja4OJ+iBQWqr7/vurZZ9tVSklRvfhi1enTD/Agb7+t2ratHaRbN9VPPomazYnOrl2q\nb7yhOniwat26dkkbNVL93e9UP/5YNT/f2m3frvr006rt21ubtDTVG25QXbIktvZXBtu3q774omrv\n3qoi9v0zMlQvv1z13XcP4knU0T17TAuuvlq1RQu7pjVqWN/t4Ycr/3fl4h5BFi1S/f3vQ4Lyi1+o\nvvbaAXhb8vNV//lPe14D1XPOUZ03L6o2Jwq7d6tOmGA31nr17PKlp6sOHar64Yfl90oLC1U//VR1\nwADV5GQTu7POUp04Mfq9q8qkoEB1yhTVyy4L/UZbtlS9807VV19V/dWvVOvXt/X169vncePsRuCU\nzpYtdu0GDw49CdaqpXreearPPae6bl3sbHNxjwKbN6uOGqV67LF25Vq0sDv3li1hHmDHDtX77rP/\nsBo1rDuVmxtVm+ORPXtU33lH9Te/CYlSWppdrkmTDm4IY9Uqc68deaQd79hjVUeOVN24MeLmVxpL\nlqjefrtqZqZ9p3r1VH/7W3s4LHnz2r3bbmqXX243x6BYnX++6r//rbppU2y+Q1UiN1f1H/9QPeMM\ne1IPPvX89reqb71Vddx7Lu5RJD/fepO9eoV6QzfddAA6vW6d6nXX2S+oVi3VW26xO0c1Zs8eE58h\nQ0KD2g0bWm/0vfciNya9Z4/qK6+o9ugRErgrr1SdPTsyx482mzfbOMKJJ5r9IqqnnWYCHa745OWZ\nG+uaa1SbNtV9bsc+fezYa9dG9ztUFQoLVefOVb3nHtUTTtB9/vPjjjM33tSpIVdfVcLFvZKYPt0G\n9WrUsEf/3/xG9Ztvwtx56VJ7Rg76GkaNqlZO0b17Vf/7X+sZpaXZZWjQQPXSS80/HI1Ig6LMmqV6\nxRUm8KDas+cButsqifx8e2IZPFg1NdVsPf541fvvV1258tCOXVCg+sUX1jk55hjd50/u1Uv1sccO\n/fhVjfx8c9X94Q+hJ3BQ7dpV9d57zVta1eMeXNwrmaVLVa+9VrVOHbuqZ5yh+sEHYf5QZsywEbCg\ns/TllxPLKVyEvDy7LldeGXIP1KtnPvUJE2Jzb9uwQfWhh0Li1qSJ+atXr658W4oyf77qzTeHhmrS\n0izEbtq06AhQYaE9wdx+eygGIBgH8Ne/xt+A9K5dqnPmqI4dq3r33RYim5Fh36lmTXtSefJJc9nF\nEy7uMWLDBnOrB327nTrZI3OFvcHCQuvGduyo+wLtP/ywUmyONvn5qh99pHrVVaF/rrp17aHlzTft\nn7AqkJ9vvv4zzzQbk5PtqWzq1MrrzW3YYFMjgm6CpCTVvn0tkrayb3wLF9pvOScnJPQdOqjedZfq\nt99WjR5uYaHqmjU2zvD006rXX29/v5YtQ9FCweXoo+0399prBzBOVgVxcY8xu3dbgEwwXr55c+sd\nVvijKiiwWLajjgo9AsSLQ7gI+fkWwTFsmMWfgz3VDBqk+vrrFqdelVm0yIQiGCnRsWP0Yub37rWn\nlgsvtB5lUEQfftiEqyqwfLlN1jnxxJBotmqlOmKExXZHW+j37rWbzZtvqj7wgI3NdO8eGp8JLrVq\nWYdq0KBQtNDs2VVnMDQSuLhXEQoKzH98yilabPC1Ql/mrl2qDz5oz+Ii5sxfsaJSbD5YCgrMn3nN\nNaEnl1q1bGLRf/4Tn/9gJWPmGzY0f20kXBSzZtm4evDm16iRfZ4169CPHU1+/FH1qadsIDc5WfdF\njl17rfWgD2UQcuNGm3j13HPmkjr3XBtfCJ4nuDRtav9Tw4apPvqojUmsWJGw3sxiuLhXQaZPtx5F\nUpL9WC+5JIzB140b7W5w2GG23HhjlYrfW7XKHnP/7/9CkRepqdYLfe21xImljlTM/Jo11iMPzm5M\nSVG94AILtatqA7nhsGGD6vPPq/brZz/P4EzhoUPLDlvNz1f9/nvr9IwcaW1POil0kwsuNWua7/+C\nC1RvvdUeaL/6Kr5dKpHAxb0Ks2yZ9dCCg6+nn24z4Mp9tF2xwsJIRKz7+Le/VbqzurBQdcEC1Wee\nsQeJ4AAkWAqA88+3MMNt2yrVrEqntJj5hx8u+567e7c9ufTtG8o/csIJqo8/rrp+faWaHlW2brUb\n+sCBoclUDRtaJ+ZPf7InuPbtQzeB4JKRYe6eyy+3h9W331ZdvNjTJpSFi3scsHGjhbMFRaJjR9V/\n/auCHtw339gwf/BZ+IUXohaMu3evRWY89JA9HgcHQ4MuhPPPt57XV1/FZ6/zUCkvZr6wUPXLL81t\nEAzzbNrUXA3VYXLyrl02jnDppfb9a9QwH/0559jD57PPWnK3WM70jFfCFfdqnfK3qrBnj5UEfOgh\nmD/fSgJed53lgq5fv4ydPv7Ysv/PnAlHHQX9+8OAAXDCCQeYqzjEtm1WVOqzz2yZNs3yUgMcdxyc\neKItPXtaRauDPE1CMns2PPGEFYXZtQuOPNLS+qemWhH3Sy+1AjFJSbG2tPLJz7dC9TVrxtqSxCDc\nlL8u7lUIVcsD/eCDMHmyCfvQoZZfvnnzUnYoLITXX4fnn7diIXl5Vg0gKPQ5OeUq8Jo1JuJTp9rr\n7Nl2yBo1IDs7JOYnnmhi5VTMxo1WCOazz6xAe//+kcnh7ThBXNzjnJkzrVTr2LGmz4MHW/2Pjh3L\n2GHTJiv9N3asCX1+PmRm7hN67dyFRYtlX6986tRQsfDataF795CQd+/uNUYcp6ri4p4gLF9ulaJG\nj4YdO+C00+Cmm+wRv8xO+caN5I2fwOznZjH1y5p8VvhzPqtxEusKMwDIyFBOPFHo2dPEPDsbUlIq\n7Ss5jnMIuLgnGJs2wTPPmND/+KMV977xRhg40HyZ27ebjzzYK582LVT4+9jGWzkx+UtOXDOOnoVT\n+FnLfGTgAOvVZ2e789xx4oiIiruI9AEeBZKAZ1X1gRLb/wBcAeQD64DfquqK8o7p4n5w7NkDr7xi\ng6/z5kGzZtCkCcyaZVXWa9SATp2K+8ubNAnsvGGDFYv9z3/gww9th2OPNf/8gAHm83Ghd5wqTcTE\nXUSSgEXAaUAuMB0YrKrzi7Q5BfhSVXeKyDCgl6oOLO+4Lu6HhipMmmQ9+d272edi6d69nAiboqxf\nb0I/dqxF3hQUWEhMUOg7dHChd5wqSCTF/efAnap6RuDzLQCqen8Z7bOBx1W1R3nHdXGvQqxfD2+8\nYUI/ebIJfatWIaFv396F3nGqCOGKe40wjtUMWFnkc25gXVlcDrxXhlFDRWSGiMxYt25dGKd2KoWM\nDAuq/+ADc+g//bTFzt9/v7lqsrLgz3+Gb7+1RwbHcao84Yh72IjIxUAO8GBp21X1GVXNUdWcRo0a\nRfLUTqRo1MiC6z/80IT+qafMsX/ffeaqadMGbr8d5s51oXecKkw44r4KaFHkc/PAumKIyKnAbUA/\nVd0TGfOcmNK4MVx1FXz0kQn9k0/a6Oy995qrpm1buPNOG9l1HKdKEY7PPRkbUO2Nifp04FeqOq9I\nm2xgHNBHVReHc2L3uccxP/1kM2PHjoVPPrEefJs2cMopFqqTnW3Cn5oaa0sdJ+GIdCjkWcAoLBRy\njKreKyJ3YwlsJojIh0B74MfALj+oar/yjuniniCsWWNCP348TJ9uCWoAkpPNV5+dHRL8Tp2gYcPY\n2us4cY5PYnIqn8JCWLrUktTMmmXL7Nnm0gmSmVlc8LOzzafv0TiOExbhintyZRjjVBNq1LBY+eOO\ng4suCq3/6aeQ4Adf33wzNCCbkWFiX1Twf/az6plC0XEihPfcndiwfTvMmVO8h//tt7B3r22vVcui\nc4oKfrt2luXMcaox7pZx4o+8PFi4sHgPf/Zs2LzZtteoAa1bFxf8Tp0gPT22djtOJeLi7iQGqrBi\nRfEe/qxZkJsbatOiRXE/fps2cMwxNqjrOAmG+9ydxEDEBmEzM62kUZD1603oiw7evvOODeqC5TBu\n1cp6+llZodfjj4e6dWPxTRynUnFxd+KTjAxLan/qqaF1O3fazNkFC8y9s2CBTbB66y3LlxOkRYv9\nRb91azjiCI/acRIGF3cncahdG7p2taUoe/da2amior9wIYwZYwO7QRo2LF30W7Z0F48Td/gv1kl8\natY0oc7KKr5eFVat2l/033vPCqEW3b9Vq/1F//jjoU6dyv0ujhMmLu5O9UXEKo83b271C4uyebMJ\nfVHR/+Ybm40b9OuDZc8Min1R4W/c2F08TkxxcXec0mjY0CqfdO9efP2ePbBkSXHRX7DAahsG6xqC\nVRhv0MBe69Yt/7WiNnXrWhio4xwALu6OcyAcdpglRWvbtvj6wkILzwyK/dKllmdn2zbz62/bZmUO\ni37etSv889auHd6NoqybQ506odfg4jeMhMbF3XEiQY0a5qI56ig4/fTw9ikoMKEPiv2Bvq5fD8uW\nhT5v21bcZVQRtWrtL/xFbwBlbauoTUrKwV1DJ6K4uDtOrEhKMtdNgwaROZ6qFdQteRPYscPe79hR\n/H1Zr+vX77/+QCY7pqTsfwOoXdtSQNeqZa9Fl3DWVdQmOdnHOErg4u44iYKICV6tWlZRK1IUvWmE\ne4Mo+rp9u7mgtm2DdevsWLt22Wtw2XOI9X1q1AjvppCRYQPozZoVf83ISLibg4u74zjlE62bRlEK\nC03gg2JfUvxLW3cgbYJPJLNmWQrqku6rmjVN6INiX9oN4Mgj48rl5OLuOE7sqVEjdAOJNvn5VmRm\n1SobBC/5On06vPHG/k8TIibwJUW/5I2gimQudXF3HKd6kZwcEuVu3UpvowobN5Yu/rm5sHgxTJ4M\nW7bsv29aWsU3gLS0qLuBXNwdx3FKImKppNPToWPHsttt326iX9ZTwOzZVqym5ID0o4/C8OFR/Qou\n7o7jOAdL3bqWhuL448tuk5dnfv5gr3/VKjj55KibFpa4i0gf4FGsQPazqvpAie2HAS8CXYANwEBV\nXR5ZUx3HceKQlJTQHIhKpMIpaiKSBDwBnAm0AQaLSJsSzS4HNqnqccAjwF8jbajjOI4TPuHMP+4K\nLFHVpaq6F3gVOLdEm3OBFwLvxwG9RRIsaNRxHCeOCMct0wxYWeRzLlByiHlfG1XNF5EtQDqwvmgj\nERkKDA183C4i3x2M0UBGyWNXc/x6FMevRwi/FsVJhOtxdDiNKnVAVVWfAZ451OOIyIxwaghWF/x6\nFMevRwi/FsWpTtcjHLfMKqBFkc/NA+tKbSMiyUADbGDVcRzHiQHhiPt0oJWItBSRmsAgYEKJNhOA\nSwPvLwI+Vj2QTEOO4zhOJKnQLRPwoV8DTMJCIceo6jwRuRuYoaoTgH8C/xKRJcBG7AYQTQ7ZtZNg\n+PUojl+PEH4tilNtrod4B9txHCfx8FIsTtwhIlNEZFNg8pzjOKXg4u7EFSKSCfQEFOhXief1VB1O\nXBF34i4ifUTkOxFZIiIjYm1PrBCRFiIyWUTmi8g8Ebk21jZVEr8BpgHPExrER0RqicjDIrJCRApE\nZKOI1ApsO1FEPheRzSKyUkSGBNZPEZErihxjiIh8VuSzisjVIrIYWBxY92jgGFtFZKaI9CzSPklE\nbhWR70VkW2B7CxF5QkQeLvolRGSCiFwfjQtU5BwNRWSciCwUkQUi8vNonq8qIyLXB/5P5orIKyKS\nGmuboo6qxs2CDeh+DxwD1AS+AdrE2q4YXYsmQOfA+3rAoupwLYAlwP9heYzygCMC658ApgB3Aq8A\n/wMOwybrp+Y+AAAe6ElEQVR8bAMGAynY5LpOgX2mAFcUOfYQ4LMinxX4ADgcqBVYd3HgGMnADcAa\nIDWw7SbgW+B4QICOgbZdgdVAjUC7DGBn0PYoXqsXgt8v8P/SMNZ/vxj9ZpoBy4r8DccCQ2JtV7SX\neOu5h5MKoVqgqj+q6teB99uABdiPOGERkRMxsR6rqjOxG/2vRKQG8FvgXsxlMxrLdbQH+BXwoaq+\noqp5qrpBVWcfwGnvV9WNqroLQFX/HThGvqo+jN1AgikBrwD+pKrfqfFNoO1XwBagd6DdIGCKqv50\nKNejPESkAXASFsmGqu5V1c3ROl8ckAzUCrjXamM324Qm3sS9tFQICS1o4RDwQ2cDX8bWkqhzKfC+\nqganj78cWJcBpGI9+j8CRWuotcBuAgdL0d8bInJjwMWxRUQ2YxP2MsI41wtYr5/A678OwaZwaAms\nA54TkVki8qyI1InyOaskqroKeAj4AfgR2KKq78fWqugTb+LulEBE6gLjgetUdWus7YkWAf/5AOBk\nEVkjImuA6zHXRxNgL7A30KMvykrg2DIOuwPrxQU5spQ2+2KFA/71PwbsSFPVhliPPJgkr7xz/Rs4\nV0Q6AlnAm2W0ixTJQGfgSVXNxr5rtRyjEpE07Am/JdAUqCMiF5e/V/wTb+IeTiqEaoOIpGDC/pKq\nvh5re6LMeUABlna6U2DJAqZig6xzMfFcibnrThWRl4GXAu8HiEiyiKSLSKfAMWcDF4hIbRE5Dktd\nXR71gHysR5wsIrcD9Ytsfxb4i4i0EqODiKQDqGouNtv7X8D4oJsniuQCuaoafJobh4l9deRUYJmq\nrlPVPOB14BcxtinqxJu4h5MKoVoQSKn8T2CBqo6MtT2VwKXAc6r6g6quCS7A48CvgV7AU9hvui7W\nU71cVX8AzsIGPzdigh6sm/YI1uP/CXObvFSBDZOA/2KD1yuA3RR324zEBuveB7Zif5+iFZ9fANoT\nfZcMgWuzUkSC4wG9gfnRPm8V5Qege+AmLti1WBBjm6JO3M1QFZGzgFGEUiHcG2OTYkJgcHEqFp0R\n9DHfqqoTY2dV1UBEegE3qmrfWNtSFBE5CXPPHK2V8I8XeEJ5FouUWQpcpqqbon3eqoiI3AUMxJ68\nZmFRRHtia1V0iTtxd5x4JOBCexX4RlXvjrU9TuITb24Zx4k7RCQL2IwN/I6KsTlONSGcGqpjRGSt\niMwtY7uIyGOBGaNzRKS6Dto4Tqmo6gJVraOqv0jkiCanahFOz/15oE85288EWgWWocCTh26W4ziO\ncyiEk8/908AkmbI4F3gxMEA0LZDPoomq/ljecTMyMjQzs7zDOo7jOCWZOXPmelVtVFG7SGS6K2vW\naLninpmZyYwZMyJwesdxnOqDiKwIp12lDqiKyFARmSEiM9atW1eZp3Ycx6lWRKLnHvasUVV9hkCZ\nq5ycHI/BdBwn8SkshC1bYMOG0NK2LRx9dFRPGwlxnwBcIyKvAt2wpDzlumQcx3Hikt27i4v0xo3F\nP5e2bNxoAl+Uf/wDhg2LqqkViruIvIJN7c4QkVzgDiwvNqr6FDARm969BMtRfVm0jHUcx4kIpfWm\nw1l27iz7mLVqQXp6aOnQofjnostxx0X9K4YTLTO4gu0KXB0xixzHqX6oQl6e9YzLW3btqrhNee02\nby67Nx2kRg1ISwsJcfPm0LFj2UKdng6HH27iXoXwupCOk0jk5cGOHbZs324il59f/pKXV3GbQ2mf\nnw979lQsyGWJbbjUrAmpqSayqan7Lw0bmp+7LHEOvm/Y0AQ+znFxd5zKRhX27jXxDYpwpF737o2+\n/cnJoSUlpfjnspaUFBPdtLSyxTe4HMz2ww5LCEGOJC7ujhMJtmyBBQtg4UJ7XbYMtm0rW4QLCsI/\ndnIy1K0LdeqEXuvUgUaNIDNz/21FX2vVCl+AwxHrGjVApEKTndjj4u444aIKq1cXF/Hg+x+LBIil\npEDLltCggQlss2blC3BFrzVrxu47O3GLi7vjlCQvD5YuLS7ewddt20Lt6teHrCw44wxo3dreZ2WZ\nsCf7v5YTW/wX6FRftm83wS4q3gsWwJIlJvBBmjUz0b700pCAt24NRx7pLgqnyuLi7iQ2qrB2bem9\n8JVFUiIlJVnscVYWnHdeqCfeujXUqxc7+x3nIHFxd+KfwkJYvx5WrTLB/u674j7xzZtDbevWNcHu\n1au4gB97rPu2nYTCxd2p2uzebYOYq1aVvuTm2vaibhQwl0nr1jB4cEjAs7LMxeKuFKca4OLuxAZV\nmyUYFOiyxHvDhv33rVPHRLpZM+jZM/S+eXN7bdXK4qkdpxrj4u5Enr17y+9tr1pl23fvLr6fCDRu\nbAJ99NHQo0dIuIsu9et779txKsDF3Tl4VOH77+GDD+Djj+19bi6Ulqs/NTXUu+7evXTRbtLEYsQd\nxzlkXNydA2PTJhPyDz6A99+3mZgARx0F7dvDCSeULtxpad7bdpxKxMXdKZ+8PPjyy5CYf/WVRafU\nqwennAI33ACnn25hhC7ejlNlcHGPY1Rh4kRzcZ96aoTCsVVtEs/774fcLdu2WU6Rrl3htttMzLt1\ncxeKU2XZudOiY9evNy9h8H1l5FULh9NOg06donsOF/c45aOPYMQICNYYT0mx0O2+fW055pgDOFjQ\n1fL++7YsX27rMzPhV7+yX+Ivf+kRKBWwfTtMmQKTJsG8eVaroXt3W44+2h9sDpb8fAusKinU5b3f\ntSvWVpfPk09GX9zFam1UPjk5OTojqExO2Hz9tYn6Bx+Ym/vuu02D330X3nnH5uyAhXT37QvnnAM/\n/3mJVCd5eTBtWsjVMn26uVrq1zcRP+00650fe6wrUjmowjffmJhPmgSffWaXtnZtu/7z54dEpnHj\nkNB37w45OdVz4quqPQgeiFBv2lT28erXh4wMWxo1Cr0v+blRI0vVnppaed+1PGrWPPgHXxGZqao5\nFbYLR9xFpA/wKJAEPKuqD5TYfjQwBmgEbAQuVtXc8o7p4n5gLFkCf/oTvPaa/Uhvu81KMJb8sX7/\nvQn922/DJ5+Y2KSlKWf22EbfjGn0WfM8af97J+Rq6dbNhPy008zt4q6Wclm71u6JkybZffGnn2x9\n+/aWP6xPHzjxREsvnp8P335rQxbTptny3XfWvkYNaNfOLn9Q8Fu3ToyU5Bs37p80c+XKkGiXnG8W\npGbN8EQ6+D493a5zdSNi4i4iScAi4DQgF5gODFbV+UXa/Ad4R1VfEJFfApep6iXlHdfFPTzWrLHe\n+ejR9uP/wx/gxhstm2y5bNzI1rc/4YN//8Q7X6Tz7o6TWUdjksinR5Ol9D1tL+dcfRTHn1DfO+fl\nkJcHX3wB//2vCfrXX9v69HS7H55xht0bmzYN73gbN9qY9LRpIdEPZkeoX9/EPij43bqZiFVFCgst\n6rW0lD1r14baHXYYHH+8JcqsSLTr1vUHxXCIpLj/HLhTVc8IfL4FQFXvL9JmHtBHVVeKiABbVLV+\necd1cS+fLVvgwQfhkUdsEGjoUPjzn21Wfans3bu/q0XVFKN3bwpPPZ3pR/Tl7VnNeecdcyeAeV6C\nfvqTTvL0KmDZfoOuluB4clKSubfOOMOWzp1t3aFSWAiLF4d69tOmWW8/WMvjuONCPftu3ayUZ2U+\nXO3da/aVFPCFC4vXij788OJZHoLvjz46MtfJCRFJcb8IE+4rAp8vAbqp6jVF2rwMfKmqj4rIBcB4\nIENVN5Q41lBgKMBRRx3VZcWKFQf4tRKf3bttsOXee23m/aBB8Je/lFEsvbAQXn4Zxo6FyZNtRC8p\nKeRqOf10izsvJbf4ypUhP/1HH9l569WzXc45B8480/zE1YHt2+3yBQV9yRJbn5kZEvNf/jKMp6UI\nsWMHzJxZXPCDtUBSU6FLl+L+++bND/2cW7bs70pZsMBudEWLRh19dPF8a0Ehz8jwXndlUdni3hR4\nHGgJfApcCLRT1c2lHBLwnntJCgrgX/+CO+6AH34wkb3/fushlsqMGXDNNfZs37KlOXtPP91izw9Q\nhXbuNIF/5x1bVq+2f9Ru3UK9+g4dEueft7AQ5swJuVr+97/QQOgpp4QEvVWrqvGdVc0FUlTsZ860\nmtNgLqGiYt+li32X0o4TLCRVsidespDUz35WXMBbtzb3Sp06lfOdnbKpVLdMifZ1gYWqWm5/wsXd\nULXBz1tvtfC5nBz461+tp1gq69fbaOro0da1fvBBuPjiiKmQKsyeHRL6r76y9S1ahIT+lFOsNGc8\nUdZAaIcOITEPDoTGA3v3mmutqO/+++9tW1JSKAyzWbNQBuSyCkkVdaN4IamqTyTFPRkbUO0NrMIG\nVH+lqvOKtMkANqpqoYjcCxSo6u3lHdfF3XqMN99sr61amSvmoovK0OmCAhP0226zZ+hrr4Xbb4+6\nr2DNGpso9c47Joo7dpiwn3qqCf3ZZ5uAVDX27rWB0KCrJTgQmpFRfCC0SZPY2hlJ1q0rHpnz1Vcm\n5sFCUiX94V5IKj6JdCjkWcAoLBRyjKreKyJ3AzNUdULAdXM/oJhb5mpV3VPeMauzuM+daz31t982\ncbnjDvjtb8sZKPviC7j6apg1y7rNf/87tG1bqTaDuQE++cSE/u23Q3OdsrNN5Fu0qHST9mPHDptI\n9PHHoSGIX/yi+EBoIoQbhkNBgY2luCslsYiouEeD6ijuK1aYkL/4oj0S33yzdcBL848C5ju4+WZ4\n4QXrfj38MAwYUCW6W6o2SSfovvn8c/NlVwWCA6F9+ph7q365cVuOE1+4uFch1q+H++6DJ54wXf79\n722WaXp6GTvk51vj22+3KY433GDumLp1K9XuA2HrVuspx5rkZIuZrgL3P8eJCuGKuw+bRJEdOyxO\n/cEHTfiGDIE776zAffHJJxYFM3eudT8fe8xCF6o49et7D9lxqhLVxPtYueTlwT/+YROE/vxncw18\n+y3885/lCPuqVZakq1cvGwV74w147724EHbHcaoe3nOPIIWFNp/oT3+ysLSTTjKN/vnPy9lp714Y\nNcpyDOTnm1P+5pvjL9bQcZwqhYt7BFC1GOoRIyygpX17m/155pkV+H4/+MAc8N99B/36mQ/ngHL1\nOo7jlI67ZQ6R6dMt5vuMMywp1IsvmsCfdVY5wr5iBVx4oQVaFxTYneCtt1zYHceJGC7uB8nChdC/\nv2XJnTPHPCvffQeXXFJOoqTduy1RTFaW+dPvvdcGTs86q1Jtdxwn8XG3zAEyc6blfHn9dYtPv+MO\ni1SssPDCO+9YUPvSpTYN9eGHrdqG4zhOFHBxDwNVmDrVYtUnTbIZ/7fealrdqFEFO3//PVx3nYl7\n69bmZz/11Eqx23Gc6ouLezkEC1Dfd5/NwGzc2Hrtw4aFkdJl505r/Le/WZL0hx6ywVNPmO44TiXg\n4l4KBQUwbpxp8zffmPfk8cct/0uFEYqqFv94/fWWu/fXvzaBD7dUj+M4TgTwAdUi7NkDzz5r3pNB\ng+zz889b8Yarrw5D2BcutLCZCy+Ehg1ttum//+3C7jhOpeM9dyxNwOjR5jlZtcqKHYwfD+edF2YG\nwW3bLArmkUcsBd9jj5nvxpNiO44TI6q1+mzaZPm5Ro2yknYnnwxjxli+77AST6nCq69axerVq81v\nc//91ac+neM4VZZqKe5r1lgn+8knrdPdty/ccovl/Q6bRYusavUnn4S6+t27R81mx3GcA6Faifvy\n5Zah8Z//tOReAwZYyoCOHQ/wQJs3m299yxZ4+mm4/HIv8e44TpWiWoj7/PlWl/Sll8yHfuml8Mc/\nWmm7A0bVeuy5uRb87r11x3GqIGFFy4hIHxH5TkSWiMiIUrYfJSKTRWSWiMwJlOWLOdOnwwUXWEW6\nceNg+HCbIDp69EEKO8Azz8B//mOpA1zYHcepolTYcxeRJOAJ4DQgF5guIhNUdX6RZn8CxqrqkyLS\nBpgIZEbB3gpRNTf4fffZZNCGDS2n+vDhVhz5kPj2W5ttevrpNojqOI5TRQnHLdMVWKKqSwFE5FXg\nXKCouCsQrMPTAFgdSSPDQdVm+N93n1V+P+IIc8X87ncRqhC0YwcMHGh3ixdfrD5Vlh3HiUvCEfdm\nwMoin3OBbiXa3Am8LyK/B+oApSZPEZGhwFCAoyKUNCs/37wk999vHevMTKuCNGRIhOtdXHutTVJ6\n/327cziO41RhItX9HAw8r6rNgbOAf4nIfsdW1WdUNUdVcxpVmHGrfPbsMd9569ZWnS4/3zrUixbZ\n/KGICvsrr1iIzS23eNIvx3HignB67quAopU/mwfWFeVyoA+Aqn4hIqlABrA2EkYWZft2G9N8+GGb\nN5STY6lc+vWLkqdkyRK46iro0QPuuisKJ3Acx4k84cjhdKCViLQUkZrAIGBCiTY/AL0BRCQLSAXW\nRdLQIH/9q+VPP/54GzD96qsDSBNwoOzda0lmkpLg5Zc9nYDjOHFDhWqlqvkicg0wCUgCxqjqPBG5\nG5ihqhOAG4DRInI9Nrg6RFU1GgZfc40VLiq36HSkuOUWq87xxhteWMNxnLhCoqTBFZKTk6MzZsyI\nybnD4t13LS/BNdfA3/8ea2scx3EAEJGZqppTUTuP5yuNVatsGmunTpavwHEcJ85wcS9JQYEV2Ni9\n2zI+pqbG2iLHcZwDxkcIS3LPPTbF9YUXbNTWcZywyMvLIzc3l927d8falIQgNTWV5s2bk5KSclD7\nu7gX5ZNP4O674ZJL4De/ibU1jhNX5ObmUq9ePTIzM5GwCiI4ZaGqbNiwgdzcXFq2bHlQx3C3TJD1\n62021LHH2hRXx3EOiN27d5Oenu7CHgFEhPT09EN6CvKeO1himiFDTODffRfq1o21RY4Tl7iwR45D\nvZYu7gCPPmqi/ve/W4SM4zhOnONumRkzrHLHuefC1VfH2hrHcQ6SzZs384+DcKmeddZZbN68OQoW\nxZbqLe5bt1p6gSOPtMrY/kjpOHFLWeKen59f7n4TJ06kYcOG0TIrZlRft4yqJXtfvtyiZA4/PNYW\nOU7icN11MHt2ZI/ZqROMGlXm5hEjRvD999/TqVMnUlJSSE1NJS0tjYULF7Jo0SLOO+88Vq5cye7d\nu7n22msZOnQoAJmZmcyYMYPt27dz5plncuKJJ/L555/TrFkz3nrrLWpFNMVs5VF9e+7PPWepfO+6\nyzI+Oo4T1zzwwAMce+yxzJ49mwcffJCvv/6aRx99lEWLFgEwZswYZs6cyYwZM3jsscfYsGHDfsdY\nvHgxV199NfPmzaNhw4aMHz++sr9GxKiePfcFCyxnTO/eMGK/krCO4xwq5fSwK4uuXbsWixF/7LHH\neOONNwBYuXIlixcvJj09vdg+LVu2pFMgqKJLly4sX7680uyNNNVP3HftggEDLNzxX/+ydL6O4yQc\nderU2fd+ypQpfPjhh3zxxRfUrl2bXr16lRpDfthhh+17n5SUxK5duyrF1mhQ/cT9D3+AuXPhvfeg\nSZNYW+M4ToSoV68e27ZtK3Xbli1bSEtLo3bt2ixcuJBp06ZVsnWVT/US93Hj4KmnLPSxT59YW+M4\nTgRJT0+nR48etGvXjlq1anFEkVrHffr04amnniIrK4vjjz+e7t27x9DSyqH65HNftgyys63o6tSp\ncJDJeBzHKZ0FCxaQlZUVazMSitKuqedzL0peHgwebO9fecWF3XGchCcscReRPiLynYgsEZH9wktE\n5BERmR1YFolI1Zru9ac/wZdfwujRcJAZ1hzHceKJCn3uIpIEPAGcBuQC00VkgqrOD7ZR1euLtP89\nkB0FWw+OSZPgb3+Dq66C/v1jbY3jOE6lEE7PvSuwRFWXqupe4FXg3HLaDwZeiYRxh8yPP1pu9nbt\n4JFHYm2N4zhOpRGOuDcDVhb5nBtYtx8icjTQEvi4jO1DRWSGiMxYt27dgdp6YBQUmLBv3w6vvQZx\nOoXYcRznYIj0gOogYJyqFpS2UVWfUdUcVc1p1KhRhE9dgr/+FT76CB5/HNq0ie65HMdxqhjhiPsq\noEWRz80D60pjEFXBJfO//8Htt1uEzGWXxdoax3GqIHUDRXlWr17NRRddVGqbXr16UVHI9qhRo9i5\nc+e+z1UlhXA44j4daCUiLUWkJibgE0o2EpHWQBrwRWRNPEA2bjRRz8y0CUuextdxnHJo2rQp48aN\nO+j9S4p7VUkhXGG0jKrmi8g1wCQgCRijqvNE5G5ghqoGhX4Q8KrGalYUWBrfyy+HNWvg88+hfv2Y\nmeI41ZkYZPxlxIgRtGjRgqsDRXfuvPNOkpOTmTx5Mps2bSIvL4977rmHc88tHg+yfPly+vbty9y5\nc9m1axeXXXYZ33zzDa1bty6WW2bYsGFMnz6dXbt2cdFFF3HXXXfx2GOPsXr1ak455RQyMjKYPHny\nvhTCGRkZjBw5kjFjxgBwxRVXcN1117F8+fJKSS0cVvoBVZ0ITCyx7vYSn++MnFkHyRNPwJtvwsiR\nkFPhBC7HcRKIgQMHct111+0T97FjxzJp0iSGDx9O/fr1Wb9+Pd27d6dfv35l1id98sknqV27NgsW\nLGDOnDl07tx537Z7772Xww8/nIKCAnr37s2cOXMYPnw4I0eOZPLkyWRkZBQ71syZM3nuuef48ssv\nUVW6devGySefTFpaGosXL+aVV15h9OjRDBgwgPHjx3PxxRdH9HokTm6Z2bPhhhugb1/rNjiOEzNi\nkfE3OzubtWvXsnr1atatW0daWhpHHnkk119/PZ9++ik1atRg1apV/PTTTxx55JGlHuPTTz9l+PDh\nAHTo0IEOHTrs2zZ27FieeeYZ8vPz+fHHH5k/f36x7SX57LPPOP/88/dlp7zggguYOnUq/fr1q5TU\nwokh7tu3w8CBkJFhRTjcz+441ZL+/fszbtw41qxZw8CBA3nppZdYt24dM2fOJCUlhczMzFJT/VbE\nsmXLeOihh5g+fTppaWkMGTLkoI4TpDJSCydGbpmrr4YlS+Dll03gHceplgwcOJBXX32VcePG0b9/\nf7Zs2ULjxo1JSUlh8uTJrFixotz9TzrpJF5++WUA5s6dy5w5cwDYunUrderUoUGDBvz000+89957\n+/YpK9Vwz549efPNN9m5cyc7duzgjTfeoGfPnhH8tuUT/z33F1+05c474eSTY22N4zgxpG3btmzb\nto1mzZrRpEkTfv3rX3POOefQvn17cnJyaN26dbn7Dxs2jMsuu4ysrCyysrLo0qULAB07diQ7O5vW\nrVvTokULehQpzTl06FD69OlD06ZNmTx58r71nTt3ZsiQIXTt2hWwAdXs7OxKq+4U3yl/v/sOunSx\nwdOPPvKqSo4TQzzlb+Spnil/d++GQYMgNRVeesmF3XEcpwjx65b54x8tQuadd6BZqaluHMdxqi3x\n2XN/8034+9/h+uvh7LNjbY3jOAFiOYcx0TjUaxl/4v7DD/Db35qv/YEHYm2N4zgBUlNT2bBhgwt8\nBFBVNmzYQGpq6kEfI/7cMi++CPn5lsa3Zs1YW+M4ToDmzZuTm5tL1NN5VxNSU1Np3rz5Qe8ff9Ey\nqlbs+phjIm+U4zhOFSdxo2VEXNgdx3EqIP7E3XEcx6kQF3fHcZwEJGY+dxFZB5Sf6KFsMoD1ETQn\n3vHrURy/HiH8WhQnEa7H0apaYZ3SmIn7oSAiM8IZUKgu+PUojl+PEH4tilOdroe7ZRzHcRIQF3fH\ncZwEJF7F/ZlYG1DF8OtRHL8eIfxaFKfaXI+49Lk7juM45ROvPXfHcRynHFzcHcdxEpC4E3cR6SMi\n34nIEhEZEWt7YoWItBCRySIyX0Tmici1sbapKiAiSSIyS0TeibUtsUZEGorIOBFZKCILROTnsbYp\nVojI9YH/k7ki8oqIHHy6xTghrsRdRJKAJ4AzgTbAYBFpE1urYkY+cIOqtgG6A1dX42tRlGuBBbE2\noorwKPBfVW0NdKSaXhcRaQYMB3JUtR2QBAyKrVXRJ67EHegKLFHVpaq6F3gVODfGNsUEVf1RVb8O\nvN+G/eNW65JUItIcOBt4Nta2xBoRaQCcBPwTQFX3qurm2FoVU5KBWiKSDNQGVsfYnqgTb+LeDFhZ\n5HMu1VzQAEQkE8gGvoytJTFnFPBHoDDWhlQBWgLrgOcCbqpnRaROrI2KBaq6CngI+AH4Ediiqu/H\n1qroE2/i7pRAROoC44HrVHVrrO2JFSLSF1irqjNjbUsVIRnoDDypqtnADqBajlGJSBr2hN8SaArU\nEZGLY2tV9Ik3cV8FtCjyuXlgXbVERFIwYX9JVV+PtT0xpgfQT0SWY+66X4rIv2NrUkzJBXJVNfg0\nNw4T++rIqcAyVV2nqnnA68AvYmxT1Ik3cZ8OtBKRliJSExsUmRBjm2KCiAjmT12gqiNjbU+sUdVb\nVLW5qmZiv4uPVTXhe2dloaprgJUicnxgVW9gfgxNiiU/AN1FpHbg/6Y31WBwOa5qqKpqvohcA0zC\nRrzHqOq8GJsVK3oAlwDfisjswLpbVXViDG1yqha/B14KdISWApfF2J6YoKpfisg44GssymwW1SAN\ngacfcBzHSUDizS3jOI7jhIGLu+M4TgLi4u44jpOAuLg7juMkIC7ujuM4CYiLu+M4TgLi4u44jpOA\n/D/TLlV5hxAEIQAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1b0cebfd0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: resnet50-cat-final.h5 ===\n",
      "\n",
      "Accuracy: 0.916\n",
      "\n",
      "Confusion Matrix\n",
      "[[370  52]\n",
      " [ 15 363]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.96      0.88      0.92       422\n",
      "          1       0.87      0.96      0.92       378\n",
      "\n",
      "avg / total       0.92      0.92      0.92       800\n",
      "\n",
      "=== Evaluating model: resnet50-cat-best.h5 ===\n",
      "\n",
      "Accuracy: 0.874\n",
      "\n",
      "Confusion Matrix\n",
      "[[339  86]\n",
      " [ 15 360]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.96      0.80      0.87       425\n",
      "          1       0.81      0.96      0.88       375\n",
      "\n",
      "avg / total       0.89      0.87      0.87       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"resnet50\", \"cat\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[1, 0] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Elementwise Cosine Distance"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Lambda(cosine_distance, \n",
    "                  output_shape=cosine_distance_output_shape)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 1s - loss: 0.7144 - acc: 0.6847 - val_loss: 0.4144 - val_acc: 0.8542\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.3652 - acc: 0.8688 - val_loss: 0.3106 - val_acc: 0.8958\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.2541 - acc: 0.9122 - val_loss: 0.3270 - val_acc: 0.8958\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.1552 - acc: 0.9472 - val_loss: 0.3431 - val_acc: 0.8854\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.1104 - acc: 0.9656 - val_loss: 0.3460 - val_acc: 0.8932\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.0871 - acc: 0.9677 - val_loss: 0.3033 - val_acc: 0.9297\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.0844 - acc: 0.9736 - val_loss: 0.4156 - val_acc: 0.9036\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.0703 - acc: 0.9799 - val_loss: 0.4017 - val_acc: 0.8958\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0611 - acc: 0.9844 - val_loss: 0.4536 - val_acc: 0.9167\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.0635 - acc: 0.9792 - val_loss: 0.4720 - val_acc: 0.9115\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"resnet50\", \"dot\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xl8VOX1+PHPIQkEEpYQRFYJWpV9F7CIYrUVaQV33MWq\nWL9Sl7oU7bfW2lpttS58RS0qriiloGj7w9oN6oqSqOyIKCABgYDsO8n5/XFmyCRkmSQzuZnJeb9e\n9zUzd+7cOblJzn3uc59FVBXnnHPJpUHQATjnnIs9T+7OOZeEPLk751wS8uTunHNJyJO7c84lIU/u\nzjmXhDy5O+dcEvLk7pKeiKwSkdODjsO52uTJ3TnnkpAnd1dvici1IrJCRL4VkTdFpF1ovYjIIyKy\nUUS2i8hCEekRem+EiCwRkR0islZEbgv2p3CubJ7cXb0kIt8D7gcuBNoCq4Gpobd/AJwMHAc0D22z\nOfTes8B1qtoU6AH8pxbDdi5qqUEH4FxALgUmq+onACJyJ7BFRHKAA0BToAvwsaoujfjcAaCbiMxX\n1S3AllqN2rkoecnd1VftsNI6AKq6Eyudt1fV/wCPAxOBjSIySUSahTY9DxgBrBaR/4rIibUct3NR\n8eTu6qt1QKfwCxHJALKBtQCqOkFV+wPdsOqZ20Pr56nqKKA1MBOYVstxOxcVT+6uvkgTkfTwArwK\nXCUifUSkEfA74CNVXSUiJ4jIIBFJA3YBe4EiEWkoIpeKSHNVPQBsB4oC+4mcq4And1dfzAL2RCzD\ngF8CM4BvgGOAi0LbNgOexurTV2PVNQ+G3rscWCUi24GfYHX3ztU54pN1OOdc8vGSu3POJSFP7s45\nl4Q8uTvnXBLy5O6cc0kosB6qrVq10pycnKC+3jnnElJeXt4mVT2isu0CS+45OTnk5uYG9fXOOZeQ\nRGR15Vt5tYxzziWlxEzuu3cHHYFzztVpiZfcn3wSunaFb78NOhLnnKuzEm/I30GD4Jtv4LrrYNo0\nEAk6IhelAwcOkJ+fz969e4MOJSmkp6fToUMH0tLSgg7F1UGJl9z79YPf/AbGj4cXX4Qrrww6Ihel\n/Px8mjZtSk5ODuIn5RpRVTZv3kx+fj6dO3cOOhxXByVetQzAbbfBySfDuHHw1VdBR+OitHfvXrKz\nsz2xx4CIkJ2d7VdBrlyJmdxTUqzUnpICV1wBBw8GHZGLkif22PFj6SqSmMkdoFMneOIJeP99+P3v\ng47GOefqlMRN7gCXXAIXXwz33APz5gUdjavjtm7dyhNPPFHlz40YMYKtW7fGISLn4iexkzvAxInQ\nti1ceins2hV0NK4OKy+5H6ykWm/WrFm0aNEiXmE5FxeJn9yzsqz+fcUKuPXWoKNxddj48eP58ssv\n6dOnDyeccAJDhw5l5MiRdOvWDYCzzz6b/v370717dyZNmnToczk5OWzatIlVq1bRtWtXrr32Wrp3\n784PfvAD9uzZE9SP41yFEq8pZFmGDYPbb4c//AF++EM466ygI3KVuflm+Oyz2O6zTx949NFy337g\ngQdYtGgRn332GXPmzOGHP/whixYtOtSUcPLkybRs2ZI9e/ZwwgkncN5555GdnV1iH1988QWvvvoq\nTz/9NBdeeCEzZszgsssui+3P4VwMJH7JPezee+2f++qrYcOGoKNxCWDgwIEl2ohPmDCB3r17M3jw\nYNasWcMXX3xx2Gc6d+5Mnz59AOjfvz+rVq2qrXCdq5LkKLkDNGoEU6ZA//7w4x/D3/7mvVfrsgpK\n2LUlIyPj0PM5c+bwr3/9iw8//JAmTZowbNiwMtuQN2rU6NDzlJQUr5ZxdVbylNwBunWzqplZs+Cp\np4KOxtUxTZs2ZceOHWW+t23bNrKysmjSpAnLli1j7ty5tRydc7EVVXIXkeEi8rmIrBCR8eVsc6GI\nLBGRxSLySmzDrIJx42D4cLu5umxZYGG4uic7O5shQ4bQo0cPbr/99hLvDR8+nIMHD9K1a1fGjx/P\n4MGDA4rSudgQVa14A5EUYDnwfSAfmAdcrKpLIrY5FpgGfE9Vt4hIa1XdWNF+BwwYoHGbrOObb6Bn\nT+vo9OGH0LBhfL7HVcnSpUvp2rVr0GEkFT+m9Y+I5KnqgMq2i6bkPhBYoapfqep+YCowqtQ21wIT\nVXULQGWJPe7atoWnn4ZPPrEOTs45V89Ek9zbA2siXueH1kU6DjhORN4XkbkiMjxWAVbbOedYy5kH\nHoB33w06Guecq1WxuqGaChwLDAMuBp4WkcO69InIWBHJFZHcgoKCGH11BR59FI4+Gi6/HLZti//3\nOedcHRFNcl8LdIx43SG0LlI+8KaqHlDVlVgd/bGld6Sqk1R1gKoOOOKISifvrrnMTHj5ZcjPh5/+\nNP7f55xzdUQ0yX0ecKyIdBaRhsBFwJultpmJldoRkVZYNU3dGGh98GD45S/hpZfgz38OOhrnnKsV\nlSZ3VT0IjAPeBpYC01R1sYjcKyIjQ5u9DWwWkSXAbOB2Vd0cr6Cr7Be/sCT/k5/AmjWVb++ccwku\nqjp3VZ2lqsep6jGqel9o3d2q+mbouarqz1S1m6r2VNWp8Qy6ylJTrXrmwAGblq+oKOiIXALIzMwE\nYN26dZx//vllbjNs2DAqa9L76KOPsnv37kOvfQhhVxuSq4dqRY45BiZMgNmz4ZFHgo7GJZB27dox\nffr0an++dHL3IYRdbag/yR3gqqusieRdd8H8+UFH42rZ+PHjmThx4qHX99xzD7/97W857bTT6Nev\nHz179uSNN9447HOrVq2iR48eAOzZs4eLLrqIrl27cs4555QYW+b6669nwIABdO/enV/96leADUa2\nbt06Tj31VE499VSgeAhhgIcffpgePXrQo0cPHg2Nt+NDC7tYSJ6Bw6IhApMmQa9eNrnHvHnQuHHQ\nUdVLAYz4y+jRo7n55pu54YYbAJg2bRpvv/02N954I82aNWPTpk0MHjyYkSNHljs/6ZNPPkmTJk1Y\nunQpCxYsoF+/fofeu++++2jZsiWFhYWcdtppLFiwgBtvvJGHH36Y2bNn06pVqxL7ysvL47nnnuOj\njz5CVRk0aBCnnHIKWVlZPrSwq7H6VXIHaNUKnnsOFi+GO+8MOhpXi/r27cvGjRtZt24d8+fPJysr\nizZt2nDXXXfRq1cvTj/9dNauXcuGCoaMfueddw4l2V69etGrV69D702bNo1+/frRt29fFi9ezJIl\nS8rbDQDvvfce55xzDhkZGWRmZnLuuefybqjDnQ8t7GqqfpXcw844A268ER57DEaMgB/8IOiI6p2g\nRvy94IILmD59OuvXr2f06NFMmTKFgoIC8vLySEtLIycnp8yhfiuzcuVKHnroIebNm0dWVhZjxoyp\n1n7CfGhhV1P1r+Qe9sADNkTwmDGwue602nTxNXr0aKZOncr06dO54IIL2LZtG61btyYtLY3Zs2ez\nevXqCj9/8skn88orNujpokWLWLBgAQDbt28nIyOD5s2bs2HDBt56661DnylvqOGhQ4cyc+ZMdu/e\nza5du3j99dcZOnRoDH9aV5/V3+TeuLFN7rFpE4wdC5WMjumSQ/fu3dmxYwft27enbdu2XHrppeTm\n5tKzZ09efPFFunTpUuHnr7/+enbu3EnXrl25++676d+/PwC9e/emb9++dOnShUsuuYQhQ4Yc+szY\nsWMZPnz4oRuqYf369WPMmDEMHDiQQYMGcc0119C3b9/Y/9CuXqp0yN94ieuQv1Xx0EM2/+rkydaa\nxsWND08be35M659YDvmb3H72Mzj1VKuD//LLoKNxzrmY8OTeoAG88AKkpNjokQcPBh2Rc87VmCd3\ngI4dbc7VDz+E3/0u6GiSWlDVgMnIj6WrSP1sClmWiy6C//f/4N57rankoEFBR5R00tPT2bx5M9nZ\n2eV2EnLRUVU2b95Menp60KG4Muzda43wSi+bNtnjBRfAiSfGNwZP7pEefxzeeQcuuww+/dTGg3cx\n06FDB/Lz86mViVrqgfT0dDp06BB0GElNFbZvL5mYy1si348YSugwGRnQvbsn99rVvLmN+z5smN1o\nnTQp6IiSSlpaGp07dw46DFdPHTwYfXIOL99+W/5tOBHIyoLsbFvat4fevYtfl7fU1sWWJ/fSTj4Z\nfv5z6+Q0YgScfXbQETnnqkgVVq6Ejz+25aOP4JNPrLqkLA0b2sgk4QTcrdvhSTny/exsaNHC2mHU\nVd7OvSz799s10+rVsHAhtG0bdETOuQoUFNg4gOFk/vHHxR3P09Ohf3844QT4znfKLk1nZFhJPBFE\n287dS+5ladjQeq/26wc//jHMmpU4v3nnktzu3XZL7KOPihP5ypX2XoMGVp999tkwcKAt3btDWlqw\nMQfBk3t5unSx3qs33ABPPGGPzrlaVVgIS5aULJEvXGjrAY46yhL4//yPPfbr5+0gwrxapiKq8MMf\n2uxNn3wC3s3bubhRha+/LpnI8/Jg1y57v0WL4tL4wIFWzdKmTbAxByGm1TIiMhx4DEgBnlHVB8rZ\n7jxgOnCCqsYlc8+ebQ1axo2zs3RcidiYMz172uQec+dalY1zddzq1Tab5IcfWkm2eXNbmjWL7jEz\n06o44mnLlsPrycND6TdsCH37wtVXFyfz73zHa0erotLkLiIpwETg+0A+ME9E3lTVJaW2awrcBHwU\nj0DDli+HP//Z5ts48URL8uefH8ec26YNPPssjBoFd99trWicq6M++QQefBD+8hdLhEOHWguRjRth\n2zZrs719e+WDoIpA06bFyb4qJ4bIx/R029fevTbzVmQi/+KL4u/r2hWGDy9O5L16eTmqpiqtlhGR\nE4F7VPWM0Os7AVT1/lLbPQr8E7gduK2ykntNqmW2boXnn4eJE2HFCjjySLjuOlvatavWLit33XXw\n9NN26XDKKXH6EueqThXeftuS+n/+Y0n5uuvgppugrD5ORUVW1RFO9pGPZa0r7zGa+UPS0izRb9sG\nBw7YunbtrAN4OJH372/buOhEWy0TTXI/HxiuqteEXl8ODFLVcRHb9AN+oarnicgcyknuIjIWGAtw\n1FFH9a9sYoTKFBXBP/5hHUtnzbI2p+eea6X5k06K8SXcrl12nbhvn02u7bPXu4Dt3w9Tp9p9/4UL\nLWnefLNNT1AbyfLAgehPBM2bFyfz9u3jH1syiza5o6oVLsD5WD17+PXlwOMRrxsAc4Cc0Os5wIDK\n9tu/f3+NpRUrVG+9VbVFC1VQ7dVLddIk1Z07Y/glH32kmpKiesklMdypc1WzbZvqgw+qtm9vf+s9\neqg+/7zqvn1BR+ZqA5CrleRXVY1qVMi1QMeI1x1C68KaAj2AOSKyChgMvCkilZ9ZYuiYY6wEs3at\n1Z6IWAmmQwe49dYYDdU+cCDccw+88ootztWitWvhjjtsENPbb4fjjrMr1gUL4MorvY7alVJZ9sdu\nun4FdAYaAvOB7hVsP4cASu6lFRWpvvuu6ujRqqmpqiKqI0aozpqlWlhYgx0fOKD63e+qNm+uunp1\nzOJ1rjwLF6peeaVqWppqgwb2Nz1vXtBRuaAQq5K7qh4ExgFvA0uBaaq6WETuFZGR8TjhxIKI1btP\nnWrNwu6+21oSjBgBxx9vzcS2bq3GjlNTrS1mYaG1gZ85s7hHhXMxomr37keMsJa4f/kL/OQn1oBg\n6lQYUKvXxS4hRXMGiMcS75J7WfbtU331VdUhQ6yuskkT1euuU12woBo7+9vfVHNybEfHHqv6xBOq\nu3bFPGZXvxw4oDp1qmr//van1bq16m9+o7ppU9CRubqCKEvu9baH6qefWlPKKVOsDe4pp1grm1Gj\nqjAOxcGD8Prr1gZt3jwbgeiGG2xp3Tqu8ScLVWv1VFhYvJR+XZVFxO6/tGoV9E9WNbt2WXeKRx6B\nVausPv2222zmR5+Pw0WKWVPIeAk6uYdt3mydUJ94wv6p2re3y99rr7X281FRhffegz/+Ed580+5s\nXXGFjQnfpUs8w4+bPXusB2HksnXr4evC67dutVaiVU3GRUXxib9NG+jRw5aePe2xe3cb/a8u2bAB\n/u//7O9vyxb47nftZunIkfHvIeoSkyf3KiostJYHjz9ubefT0uDCC+GnP7VGMlG3mf/8cyt+vfCC\nXRKcdZY11zn55FrtO60KO3dWnJArWr9vX8X7b9rUJioILy1aQKNG1tcgFkuDBtX7XGGh9WJetMja\nfi9eXLKzzdFHl0z4PXtaKbm2Rw38/HMrC7z4orVXP/tsK6l/97u1G4dLPJ7ca+Dzz60k9fzz1glj\nwACrshk9ugqXyAUFtpPHH7cpXgYMsP/e886zm7JRUIUdO8pOwlu22Cwx5SXqrVvLn0EG7DzTooUt\nkUk6MlmXt75Fi6h/hMAVFtpwsOFkv2iRLZ9/XnwfPC3NLrBKl/Q7dYp96fn9960WL3yBN2aMXeAd\nd1xsv8clL0/uMbBjB7z8suXnJUusSv3aa63aplOn6Pahu/ewfdJUtkx4iS0rt7CldRe2jLiULf1P\nZ8ue9HITdzhBV9QQJyWlakk58nWzZvX7sn/fPkvwkQl/4UJrWRWWmWlVOaVL+lW9nVJYaMn8wQdt\nIK+WLe22zLhxfmvGVZ0n9xhShTlzLMnPnGnrRo6EM86wE0C4BF1egq6oXjklRcnKksOSccuWZSfp\nyCUz00fJi7Xt260qJzLhL1xoF19hRxxRnOzDCb97d6uqirRnj1W7/PGPNkhW585WSr/qqrpX9+8S\nhyf3OPn6a/jTn2zu7PA/fGpq5Ym4xJK/kKypT5I1awqZDXYjl15i9fK9egX7w7lybdhQMuGHn4fH\nGgfIySlO+Kmp9ndSUGA1crffbuMeJUp1lqu7PLnH2b59NoxqVlYN5l9cuRIeewyeecayxPe/b/Xy\n3/++F8kTQFGRVeNEJvyFC2HZMrvfMWKEJfVTTvFfp4sdT+6JZMsWuxR47DH45hu7zr/1Vrj4Yh8w\nJAHt32/VO4nW1t4lhmiTez2+pVaHZGXBz39uDe2ff94q+ceMsUraBx6w5O8SRsOGnthd8Dy51yUN\nG9rwfgsW2OwL3bvDnXfaMIA332zJ3znnouDJvS4SgR/8wHpTffaZtY2fONH61Y8ebUMdOOdcBTy5\n13W9e1tv15Ur7Wbr229bl9lTTrHG0/Hqv++cS2ie3BNFhw7w+9/DmjXFo0uNGmUzCz/xhM1l5pxz\nIZ7cE03Tplb//uWXNrB3s2bW3bFdO7jmGptWPqAWUM65usOTe6JKTS2uf583Dy65xJL9oEHQrx88\n9ZR1n3XO1Uue3JPBgAE2cey6dVZFowrXXw9t29pEsnl5QUfonKtlntyTSbNmltQ//RTmzrWS/csv\nW/IPnwB27gw6SudcLYgquYvIcBH5XERWiMj4Mt7/mYgsEZEFIvJvEYlyzEQXFyJWPfPss9bj9fHH\nrdvk2LFWN3/99dbE0jmXtCpN7iKSAkwEzgS6AReLSLdSm30KDFDVXsB04A+xDtRVU/PmdsN1/nz4\n4AMbver556FvXzsBTJ5ccvQr51xSiKbkPhBYoapfqep+YCowKnIDVZ2tqrtDL+cCHWIbpqsxETjx\nREvs69bZODY7d8LVV1tpftw46xnrnEsK0ST39sCaiNf5oXXluRp4qyZBuTjLyoIbb7RhDN991wan\nf+YZ6zAVPgHs3l3pbpxzdVdMb6iKyGXAAODBct4fKyK5IpJbUFAQy6921SECJ50EL70Ea9da56it\nW202ifbt7QSweHHQUTrnqiGa5L4W6BjxukNoXQkicjrwC2CkqpY5vbKqTlLVAao64IgjjqhOvC5e\nsrOtc9SSJfDf/9pg5H/6k808ET4BRM407Zyr06JJ7vOAY0Wks4g0BC4C3ozcQET6An/CEvvG2Ifp\nao0InHwyTJlipfmHHrLphK64wkrzt9wCS5cGHaVzrhKVJndVPQiMA94GlgLTVHWxiNwrIiNDmz0I\nZAJ/EZHPROTNcnbnEkmrVjZpyLJl8J//2EiVEydCt242cNmUKbB3b9BROufK4DMxuarZuNFuuE6a\nZOPbZGfbGPRjx8LxxwcdnXNJz6fZc/FVVGSl+T/9CWbOtElDjz7aJvnu3bv4sXNnaOAdoZ2LlWiT\nu8/F7qqnQQM4/XRbNmywYQ4+/tg6S0WOM5+ZaXPC9u5dnPR79rTRLZ1zceMldxd7u3dbE8r5861j\n1Pz5tkSOOX/MMYeX8nNyvJTvXCW85O6C06QJnHCCLWGqNtFIONGHk/7MmcXjzzdtWnYpPzMzmJ/D\nuQTmJXcXrF27ikv5kUl/+3Z7X6T8Ur5IoKE7FwQvubvEkJFhc8IOHFi8ThVWry5O9OHH118vWcoP\nJ/rIUn5GRjA/h3N1jJfcXeLYufPwUv6CBSVL+UcfDUcdBW3aFC9t25Z83rKl1+27hOUld5d8MjNt\nmOJBg4rXqdpk4eHS/aJFNurlxx/bWPZlDYCWmgpHHlky6Zd1EmjTBho3rrUfz7lY8uTuEpuItaXv\n3BlGjTr8/R07YP16W775pvh5+HV+PuTmWuescPPNSM2alZ/4I5+3auVXA65O8eTuklvTprYce2zF\n2xUW2hg65Z0E1q+HTz6x52VNVZiSAq1bl0z2aWm2Prw0aFDydVXWVffzjRrZCapZM5u4pWlTW++S\nnid358ASXrg03qdPxdvu3Gkdt0qfCCKfL1pkvXYLC4uXoqKSr8Pravu+V2amJfrmzYuTfuTzstaV\nft6okbdWquM8uTtXVZmZthxzTGz2p1r5SaCik0NF6/btsxvO27bZEn4euW7LFrtvEV4fzUQtaWnR\nnQgirxgaN7Y+EOHHyOfp6X6yiDFP7s4FTcRu8qbWkX/HAwcsyVd2Uij9PPIEsW1b2fcwKtK4cdmJ\nv6J1Vd2+QYOSJ8CyHit6L1afOfHEuA+0V0f+mpxzdUZamo32mZ1d/X2o2hVAOPnv3GmTvezeXfwY\n+byy97ZsKfu9gJpy19iTT3pyd84lIBHrUJaRYROwx4Mq7N9ftROGavEN54oeo9mmJp9p1So+xySC\nJ3fnXGISsRu7jRrZpO+uBG+Y65xzSciTu3POJaHAxpYRkQJgdTU/3grYFMNwEp0fj5L8eBTzY1FS\nMhyPTqp6RGUbBZbca0JEcqMZOKe+8ONRkh+PYn4sSqpPx8OrZZxzLgl5cnfOuSSUqMl9UtAB1DF+\nPEry41HMj0VJ9eZ4JGSdu3POuYolasnd1WMiMkdEtohIo6Bjca6u8uTuEoqI5ABDAQVG1uL3em9u\nl1ASLrmLyHAR+VxEVojI+KDjCYqIdBSR2SKyREQWi8hNQcdUS64A5gLPA1eGV4pIYxH5o4isFpFC\nEflWRBqH3jtJRD4Qka0iskZExoTWzxGRayL2MUZE3ot4rSJyg4h8AXwRWvdYaB/bRSRPRIZGbJ8i\nIneJyJcisiP0fkcRmSgif4z8IUTkTRG5JR4HKOI7WojIdBFZJiJLReTEeH5fXSYit4T+TxaJyKsi\nkh50THGnqgmzACnAl8DRQENgPtAt6LgCOhZtgX6h502B5fXhWAArgP8B+gMHgCND6ycCc4B7gFeB\n94FGQCdgB3AxkAZkA31Cn5kDXBOx7zHAexGvFfgn0BJoHFp3WWgfqcCtwHogPfTe7cBC4HhAgN6h\nbQcC64AGoe1aAbvDscfxWL0Q/vlC/y8tgv79BfQ30x5YGfE7nAaMCTqueC+JVnIfCKxQ1a9UdT8w\nFShj4szkp6rfqOonoec7gKXYH3HSEpGTsGQ9TVXzsBP9JSLSAPgxcB9WZfM0sEVV9wGXAP9S1VdV\n9YCqblbVz6rwtfer6requgdAVV8O7eOgqv4RO4GEx269BvhfVf1czfzQth8D24DTQttdBMxR1Q01\nOR4VEZHmwMnAs6G496vq1nh9XwJIBRqHqteaYCfbpJZoyb09sCbidT5JntCiEaqH7gt8FGwkcXcl\n8A9VDXcffyW0rhWQjpXo7wAiZ4noiJ0Eqivy7w0RuS1UxbFNRLYCzUPfX9l3vYCV+gk9vlSDmKLR\nGSgAnhORT0XkGRHJiPN31kmquhZ4CPga+AbYpqr/CDaq+Eu05O5KEZFMYAZws6puDzqeeAnVn18I\nnCIi60VkPXALVvXRFtgP7A+V6COtAcqbD28XVooLa1PGNofaCofq1+8IxZGlqi2wEnl4friKvutl\nYJSI9Aa6AjPL2S5WUoF+wJOq2hf7WevlPSoRycKu8DsD7YAMEbms4k8lvkRL7mux0lFYh9C6eklE\n0rDEPkVVXws6njg7GygEugF9QktX4F3sJusiLHmuwarrTheRV4ApoecXikiqiGSLSHgG7M+Ac0Wk\niYh8B7i6khiaAgexEnGqiNwNNIt4/xngNyJyrJheIpINoKr5wDysxD4jXM0TR/lAvqqGr+amY8m+\nPjodWKmqBap6AHgN+G7AMcVdoiX3ecCxItJZRBpidZdvBhxTIEREsPrUpar6cNDx1IIrgedU9WtV\nXR9egMeBS4FhwFPY33QmVlK9WlW/BkZgNz+/xRJ679A+H8FK/BuwapMplcTwNvB37Ob1amAvJatt\nHsZu1v0D2I79fhpHvP8C0JP4V8kQOjZrRCR8P+A0YEm8v7eO+hoYHDqJC3YslgYcU9wlXA9VERkB\nPIq1nJmsqvcFHFIgQjcX38VaZ4TrmO9S1VnBRVU3iMgw4DZV/VHQsUQSkZOx6plOWgv/eKErlGew\nljJfAVep6pZ4f29dJCK/BkZjV16fYq2I9gUbVXwlXHJ3LhGFqtCmAvNV9d6g43HJr9JqGRGZLCIb\nRWRROe+LiEwIdSpaICL1tV7PuTKJSFdgK3bj99GAw3H1RDR17s8Dwyt4/0zg2NAyFniy5mE5lzxU\ndamqZqjqd5O5RZOrWypN7qr6DnYjqjyjgBdDnTbmAi1EpG2sAnTOOVd1sRgMqbyORd+U3lBExmKl\nezIyMvp36dIlBl/vnHP1R15e3iaNYg7VWh3pTlUnERosf8CAAZqbm1ubX++ccwlPRFZHs10s2rl7\nxyLnnKtjYlFyfxMYJyJTgUHYuA2HVck451zcFRXBnj2we3fxsmtX8fPUVMjMLLlkZEB6OohUvv8E\nUmlyF5Hu2xyGAAAZe0lEQVRXsd5/rUQkH/gVNnQqqvoUMAvrAbgCG8b0qngF65xLYOHEG5lsy0rA\nZb2Odps91RzVoUGDwxN+6ZNAeesr2jYtLbbHsAoqTe6qenEl7ytwQ8wics7VLXv3wvbtJZdt26q2\nbudO209VpaZakmzSpHgJv27RouTrsraJfN24MRQWWiyll127yl63aROsWlVy3f790cffsGHZJ4Jb\nboGzzqr68agCnzrMuWSkasl0x46qJ+LSSzTJLDUVmje3pVkzW9q3h65dbV1GRnHCLS9Zl/U6wJJv\nufbvP/xkUN7Jobx1RUWVf08NeXJ3rq5QtWqF7dstKYcfI59XZV1hYeXfmZZWMiE3awYdO5Z83azZ\n4duUXteoUdLVWZerYUNbsrKCjqRCntydK0tRERw4AAcP2mPp55W93r+//CRcUYKOpkQnAk2b2tKs\nWfHzNm3KXh9OwmUl6PTkn0q0vvLk7hLb3r3w+eewdCksWQLLl1vpt7ykG22CjvVlc4MGJZNu+LFd\nu5KJuPT7Za1r0sT251wFPLm7xLBzJyxbZgl8yZLiZP7VV8WJuEED6NzZblilpdmSmmpVBuF1qanF\n71X1dVW2bdiwZHJu3Lj+VFu4OsGTu6tbtmyxxB1O3uHl66+Lt0lLg+OOg7594dJLoVs3u3F33HGW\nyJ1zntxdQAoKSibvcDL/JqL/W3q6Je2TTrIEHl6OPrputqJwrg7x5O7iRxXWrTs8gS9ZAps3F2+X\nmWlJ+4wzikvh3bpBp06QkhJc/M4lME/uLjbWroX58w9P5Nsjhi/PyoLu3eHcc0uWxNu39/po52LM\nk7urHlVYsABmzoQ33oBPPy1+78gjLWlffnnJknjr1p7Enaslntxd9A4ehPfeK07oq1ZZsj7xRPj9\n72HIEEvkLVsGHalz9Z4nd1exXbvg7bctmf/tb/Dtt9Yi5fvfh1/8wsbHOPLIoKN0zpXiyd0dbuNG\n+OtfLaH/85/WUSgrC370Ixg1ym58ZmYGHaVzrgKe3J1ZsaK4uuX9961O/aijYOxYS+hDh3rzQ+cS\niCf3+qqoCPLyLKHPnGktWwD69IG774azz4bevf0GaBXs2gVvvQUzZtj95d697TbEkCH2PNX/21wt\n8j+3+mT/fpg920rnb7xhbdBTUuDkk4tL6Dk5QUeZULZutVsRM2bA3/9uNVitWsHgwfDhhzBtmm2X\nkQGDBlmiP+kke79Zs2Bjd8nNk3uy27bNipNvvAGzZlm78yZNYPhwK53/8IfeuqWKCgrscM6YAf/+\nt40z1q4dXHONNeEfOrS4lL5mjdVyhZf77rOLpgYNoGfP4pL9kCFWC+YXSi5WxCZSqn0DBgzQ3Nzc\nQL476a1dC2++adUts2db9jniCBg50hL6aafZQFYuamvXwuuvw2uvwX//awk6JwfOO8+WQYOiG6hx\nxw6YO7c42c+da2OigfXlikz2XpXjyiIieao6oNLtPLknAVXrERquP583z9Z/5zuWzM8+2+oBvCt/\nlaxcacl8xgyrYgHo0qU4offpU/OS9sGDsHBhydL9mjX2XkaG/drCyd6rcqK3Zw8sWmSdpj/7zB4X\nLoR9+6o+RWpl65s0qd0rLk/u9cHy5fDcczB9urV2ARg40JL5qFHWociv86tk2TJL5uGbomBJPJzQ\nu3aNfwxff10y2S9Y4FU55VGF9euLE3g4mS9fXjwSdGYm9OplV0KZmeXPgBe5fteu6GMQOTz5V3aS\nOP10+11Whyf3ZLVzpyXzZ5+13qIpKVbNcs45Vu3Srl3QESYUVUsI4YS+dKmtHzzYkvm559oglEHa\nvh0++qjiqpyTTrLHXr2StyrnwAE7+UaWxufPt3sgYZ06WRLv3dtOyr172xD/VZ3bpKgIdu+ueDrU\n6qwPT0f7pz9ZG4bqiGlyF5HhwGNACvCMqj5Q6v1OwGTgCOBb4DJVza9on57cq0DV/qMnT4apU+2v\n5Ljj4Mc/hiuugLZtg44woRQVwccfWzJ/7TWb76NBA2s0dN55duHToUPQUZYvXJXz3nvFCT8/9N9W\nuiqnXz/rf5ZoNXLfflucvMPL4sXFybFRIxuDLpzAe/e2E1sdn9aUAwcs8TdsaNU51RGz5C4iKcBy\n4PtAPjAPuFhVl0Rs8xfgb6r6goh8D7hKVS+vaL+e3KOwYQO89JIl9aVL7T/3wgstqQ8ZUr+vx6uo\nsBDefdeS+Wuv2Q3StDS76Dn3XKvFat066Cirr7yqHLA/k+bNrVFUy5aWAMPPK3sd7ylWi4rgyy9L\nVqnMn1983wFsdIvSpfHjj0/eK5TKRJvcozk8A4EVqvpVaMdTgVHAkohtugE/Cz2fDcysWrjukIMH\nrcH0s89aA+qDB21grmeescTetGnQESaMcLP+GTPsPnNBgSWrM86A+++3YXFatAg6ytg46ihbLr7Y\nXoercpYssVLwli32GF5Wry5+XtF0senp0Z8IIl83a3Z4VciuXXbFEVmlsmBBcf12Sool7aFDi5N5\n794277erumhK7ucDw1X1mtDry4FBqjouYptXgI9U9TEROReYAbRS1c2l9jUWGAtw1FFH9V+9enVM\nf5jaoGodO1980f5QY2b3blj/jd0d2r8f0hpCmyOtyqVJRoUfzcy0f4Ajj7TH0s8zM+tPIX/PHvjH\nPyyh//Wv1skoM9Oa8593Hpx5pg+LE6moyJpnRib/0ieC8l7v3l3+fhs0sBNnOOlv2WL3/MPppnnz\nw0vj3bvH/0ohGcSy5B6N24DHRWQM8A6wFigsvZGqTgImgVXLxOi7a8XatfDyy5bUlyyxOr8BA2pY\nl1lYCJsK4Jv1sH0bIPaf0KYNZLcECRV9KihZqVp9a26ujfdVVimsceOyk374eeRjdesBY62oyEqf\n0SSZyNcFBVavmZVlVS3nnWcDWHrSKFuDBpZomzeveufkvXvtmFf2e/n2W7vxe9llxQm9U6f6U+AI\nSjTJfS3QMeJ1h9C6Q1R1HXAugIhkAuep6tZYBRmUXbvscv6FF+Bf/7JEOmSI3em+8MJqXtKr2vVy\n+Obojh1w7LFw19U2uUUNWrsUFtrsdevXW3X9+vWHP1+xwm7EbdpU9j6aNo3+RNCwYeUx7dtXvVLh\n1q0VVxc0aVKyGuC44+yxVSv43vfg1FN9nLN4S0+3C0u/n183RZPc5wHHikhnLKlfBFwSuYGItAK+\nVdUi4E6s5UxCKiqCd96xEvpf/mINU3Jy4Je/tNz7ne9Uc8cbNxbfHF2yxLLThRfC1VfH7OZoSord\nFIzmxuCBA1bKrehEsGiRndS2lnOazsoqTv6tW1ttUumEXdGlu0jJS/eWLeGYYyqv083K8pK4c5Wp\nNLmr6kERGQe8jTWFnKyqi0XkXiBXVd8EhgH3i4hi1TI3xDHmuPjiC8u9L71kEww1bWq594or7AZP\nVdvJAnYz9O237eboX/9afHP06adh9OhAb46mpdlFQjQXCnv32rmp9Akg8kSQl2dVVS1b2smwX7+y\nE3Tk8+bNq3lcnXOVqtedmLZuhT//2UrpH3xgieb00+HKK62tc7Xrn7/4wnqOvvCCjbx4xBF2lvjx\nj20uUeecq6bavqGaMMKF6RdesLG19u2zfPv738Oll9qNn2rZtct6jk6ebPU6DRrAiBHw+OM2g5FX\nADvnalG9Se7z51tCnzLFqhiys63775VXWhVCtaq8Va2r47PPlrw5ev/9VlL3oQCccwFJ6uS+fj28\n8ool9QULrPB81lmWd888M7rWHuX6xz/gZz+zPtFNmsAFF9jN0ZNO8jZezrnAJV1y37vXqlteeMGq\nXwoLbaDExx+Hiy6yEnuNbdpkXQGzs2HSJLs56mOxOufqkKRI7qp2Q/TFF+0G6bZtNvDTHXdY88WY\nD9P6859bD5t33rFudc45V8ckdHJftcoS+osv2uBDTZpYj8Qrr4Rhw+I0Et7779tN0zvu8MTunKuz\nEi65b99ujVJeeMEKzmC9EX/5SxvdL65Nxw8cgJ/8xEZouvvuOH6Rc87VTMIl9z/+Ee691xql/Pa3\nNl5Fp0619OWPPWbdNmfOtOF3nXOujkq4Tkxr19pYz4MG1XKjlDVrrPL+e9+zO7bOOReApO3E1L59\nDToa1cTNN9vAMxMmBPDlzjlXNQmX3AMxa5ZN33P//VUfF9U55wLgwzZVZvduGDfOqmR+9rPKt3fO\nuTrAS+6V+d3vYOVKm6+tRl1anXOu9njJvSLLlsEf/mA9oYYNCzoa55yLmif38qjC//yPNXl86KGg\no3HOuSrxapnyvPKKVcU8+WR0Uxs551wd4iX3smzdajdPBw60cYGdcy7BeMm9LL/4hY38+Pe/+zxw\nzrmE5JmrtHnzrCpm3Djo2zfoaJxzrlo8uUcqLITrr4c2beA3vwk6Guecqzavlon01FOQlwevvuqT\nbzjnElpUJXcRGS4in4vIChEZX8b7R4nIbBH5VEQWiMiI2IcaZ+vXw113wemn28xKzjmXwCpN7iKS\nAkwEzgS6AReLSLdSm/0vME1V+wIXAU/EOtC4u/VWm6Nv4kSfA9U5l/CiKbkPBFao6lequh+YCowq\ntY0C4XqM5sC62IVYC/79b2vXPn48HHdc0NE451yNRZPc2wNrIl7nh9ZFuge4TETygVnAT8vakYiM\nFZFcEcktKCioRrhxsG+f9UQ95hi4886go3HOuZiI1Q3Vi4HnVfWPInIi8JKI9FDVosiNVHUSMAls\nso4YfXfNPPggLF9ubdrT04OOxrmEdeDAAfLz89m7d2/QoSSF9PR0OnToQFpaWrU+H01yXwt0jHjd\nIbQu0tXAcABV/VBE0oFWwMZqRVVbvvoK7rsPLrgAzjgj6GicS2j5+fk0bdqUnJwcxO9b1Yiqsnnz\nZvLz8+ncuXO19hFNtcw84FgR6SwiDbEbpqXnmfsaOA1ARLoC6UAdqXcph6p1VEpNhUceCToa5xLe\n3r17yc7O9sQeAyJCdnZ2ja6CKi25q+pBERkHvA2kAJNVdbGI3AvkquqbwK3A0yJyC3ZzdYwGNTlr\ntF5/Hd56yxJ7IPP2OZd8PLHHTk2PZVR17qo6C7tRGrnu7ojnS4AhNYqkNu3cCTfdBL17W+ndOeeS\nTP0cfuCeeyA/38aQSfVOus4lg61bt/LEE1XvYjNixAi2bt0ah4iCVf+S+4IF8OijcO21cOKJQUfj\nnIuR8pL7wYMHK/zcrFmzaNGiRbzCCkz9KrYWFdnAYFlZ8MADQUfjXPK6+Wb47LPY7rNPHyuYlWP8\n+PF8+eWX9OnTh7S0NNLT08nKymLZsmUsX76cs88+mzVr1rB3715uuukmxobmasjJySE3N5edO3dy\n5plnctJJJ/HBBx/Qvn173njjDRo3bhzbn6OW1K+S+3PPwQcfWNv2li2DjsY5F0MPPPAAxxxzDJ99\n9hkPPvggn3zyCY899hjLly8HYPLkyeTl5ZGbm8uECRPYvHnzYfv44osvuOGGG1i8eDEtWrRgxowZ\ntf1jxEz9Kblv2gR33AFDh8KVVwYdjXPJrYISdm0ZOHBgiTbiEyZM4PXXXwdgzZo1fPHFF2RnZ5f4\nTOfOnenTpw8A/fv3Z9WqVbUWb6zVn+T+85/D9u12E9WbazmX9DIyMg49nzNnDv/617/48MMPadKk\nCcOGDSuzDXmjRo0OPU9JSWHPnj21Ems81I9qmfffh8mTbV7U7t2DjsY5FwdNmzZlx44dZb63bds2\nsrKyaNKkCcuWLWPu3Lm1HF3tS/6S+4ED8JOfQMeOcPfdlW/vnEtI2dnZDBkyhB49etC4cWOOPPLI\nQ+8NHz6cp556iq5du3L88cczePDgACOtHcmf3CdMgEWLrEdqxGWacy75vPLKK2Wub9SoEW+99VaZ\n74Xr1Vu1asWiRYsOrb/ttttiHl9tSu5qmTVr4Fe/gh/9CEaVHoLeOeeSV3In95tvtrbt//d/fhPV\nOVevJG+1zKxZ8Npr8LvfQU5O0NE451ytSs6S++7dNiBY1642N6pzztUzyVly/93vYOVKmD0bGjYM\nOhrnnKt1yVdyX7YM/vAHuPxyGDYs6Giccy4QyZXcVW2y64wMeOihoKNxztVhmZmZAKxbt47zzz+/\nzG2GDRtGbm5uhft59NFH2b1796HXdWUI4eRK7q+8YlUx998PrVsHHY1zLgG0a9eO6dOnV/vzpZN7\nXRlCOHnq3LduteEFTjjBxmp3zgUmgBF/GT9+PB07duSGG24A4J577iE1NZXZs2ezZcsWDhw4wG9/\n+1tGlerzsmrVKn70ox+xaNEi9uzZw1VXXcX8+fPp0qVLibFlrr/+eubNm8eePXs4//zz+fWvf82E\nCRNYt24dp556Kq1atWL27NmHhhBu1aoVDz/8MJMnTwbgmmuu4eabb2bVqlW1MrRw8pTc//d/beTH\np56ClJSgo3HO1bLRo0czbdq0Q6+nTZvGlVdeyeuvv84nn3zC7NmzufXWW6loeucnn3ySJk2asHTp\nUn7961+Tl5d36L377ruP3NxcFixYwH//+18WLFjAjTfeSLt27Zg9ezazZ88usa+8vDyee+45Pvro\nI+bOncvTTz/Np59+CtTO0MLJUXLPzYUnnrDmj/36BR2Nc/VeECP+9u3bl40bN7Ju3ToKCgrIysqi\nTZs23HLLLbzzzjs0aNCAtWvXsmHDBtq0aVPmPt555x1uvPFGAHr16kWvXr0OvTdt2jQmTZrEwYMH\n+eabb1iyZEmJ90t77733OOeccw6NTnnuuefy7rvvMnLkyFoZWjjxk3thoQ0MduSR8JvfBB2Ncy5A\nF1xwAdOnT2f9+vWMHj2aKVOmUFBQQF5eHmlpaeTk5JQ51G9lVq5cyUMPPcS8efPIyspizJgx1dpP\nWG0MLRxVtYyIDBeRz0VkhYiML+P9R0Tks9CyXERq71bxU09BXh488gg0b15rX+ucq3tGjx7N1KlT\nmT59OhdccAHbtm2jdevWpKWlMXv2bFavXl3h508++eRDg48tWrSIBQsWALB9+3YyMjJo3rw5GzZs\nKDEIWXlDDQ8dOpSZM2eye/dudu3axeuvv87QoUNj+NNWrNKSu4ikABOB7wP5wDwReVNVl4S3UdVb\nIrb/KdA3DrEebv16uOsuOP10GD26Vr7SOVd3de/enR07dtC+fXvatm3LpZdeyllnnUXPnj0ZMGAA\nXbp0qfDz119/PVdddRVdu3ala9eu9O/fH4DevXvTt29funTpQseOHRkyZMihz4wdO5bhw4cfqnsP\n69evH2PGjGHgwIGA3VDt27dvrc3uJBXdXAAQkROBe1T1jNDrOwFU9f5ytv8A+JWq/rOi/Q4YMEAr\naz9aqUsvhenTYeFCOO64mu3LOVcjS5cupWvXrkGHkVTKOqYikqeqAyr7bDTVMu2BNRGv80PrDiMi\nnYDOwH/KeX+siOSKSG5BQUEUX12Bf//b2rWPH++J3TnnSol1U8iLgOmqWljWm6o6SVUHqOqAI444\novrfsm+f9UQ95hi4887q78c555JUNK1l1gIdI153CK0ry0XADTUNqlIPPgjLl8Nbb0F6ety/zjkX\nHVVFfO6EmKisyrwy0ZTc5wHHikhnEWmIJfA3S28kIl2ALODDGkVUma++gvvug/PPh+HD4/pVzrno\npaens3nz5honJWeJffPmzaTXoPBaacldVQ+KyDjgbSAFmKyqi0XkXiBXVcOJ/iJgqsb7N/vKK5Ca\nGkwvCedcuTp06EB+fj41vp/mADtZdujQodqfr7S1TLxUu7WMKqxaBZ07xzwm55yr62LZWqZuEfHE\n7pxzlUi85O6cc65Sntydcy4JBVbnLiIFQMUDPZSvFbAphuEkOj8eJfnxKObHoqRkOB6dVLXSjkKB\nJfeaEJHcaG4o1Bd+PEry41HMj0VJ9el4eLWMc84lIU/uzjmXhBI1uU8KOoA6xo9HSX48ivmxKKne\nHI+ErHN3zjlXsUQtuTvnnKuAJ3fnnEtCCZfcK5vPtb4QkY4iMltElojIYhG5KeiY6gIRSRGRT0Xk\nb0HHEjQRaSEi00VkmYgsDc2qVi+JyC2h/5NFIvKqiCT9WOEJldwj5nM9E+gGXCwi3YKNKjAHgVtV\ntRswGLihHh+LSDcBS4MOoo54DPi7qnYBelNPj4uItAduBAaoag9sdNuLgo0q/hIquQMDgRWq+pWq\n7gemAqMCjikQqvqNqn4Ser4D+8ctc/rD+kJEOgA/BJ4JOpagiUhz4GTgWQBV3a+qW4ONKlCpQGMR\nSQWaAOsCjifuEi25Rz2fa30iIjlAX+CjYCMJ3KPAHUBR0IHUAZ2BAuC5UDXVMyKSEXRQQVDVtcBD\nwNfAN8A2Vf1HsFHFX6Ild1eKiGQCM4CbVXV70PEERUR+BGxU1bygY6kjUoF+wJOq2hfYBdTLe1Qi\nkoVd4XcG2gEZInJZsFHFX6Il96rM55r0RCQNS+xTVPW1oOMJ2BBgpIiswqrrviciLwcbUqDygXxV\nDV/NTceSfX10OrBSVQtU9QDwGvDdgGOKu0RL7lHN51ofiM1C/CywVFUfDjqeoKnqnaraQVVzsL+L\n/6hq0pfOyqOq64E1InJ8aNVpwJIAQwrS18BgEWkS+r85jXpwc7nSOVTrkvLmcw04rKAMAS4HForI\nZ6F1d6nqrABjcnXLT4EpoYLQV8BVAccTCFX9SESmA59grcw+pR4MQ+DDDzjnXBJKtGoZ55xzUfDk\n7pxzSciTu3POJSFP7s45l4Q8uTvnXBLy5O6cc0nIk7tzziWh/w8UbJpQPlitOAAAAABJRU5ErkJg\ngg==\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1af368bd0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: resnet50-dot-final.h5 ===\n",
      "\n",
      "Accuracy: 0.897\n",
      "\n",
      "Confusion Matrix\n",
      "[[379  44]\n",
      " [ 38 339]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.91      0.90      0.90       423\n",
      "          1       0.89      0.90      0.89       377\n",
      "\n",
      "avg / total       0.90      0.90      0.90       800\n",
      "\n",
      "=== Evaluating model: resnet50-dot-best.h5 ===\n",
      "\n",
      "Accuracy: 0.890\n",
      "\n",
      "Confusion Matrix\n",
      "[[373  48]\n",
      " [ 40 339]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.90      0.89      0.89       421\n",
      "          1       0.88      0.89      0.89       379\n",
      "\n",
      "avg / total       0.89      0.89      0.89       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"resnet50\", \"dot\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[1, 1] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Elementwise Absolute Difference"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Lambda(absdiff, output_shape=absdiff_output_shape)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 1s - loss: 0.5699 - acc: 0.7021 - val_loss: 0.3727 - val_acc: 0.8594\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.3049 - acc: 0.8726 - val_loss: 0.2850 - val_acc: 0.8724\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.1994 - acc: 0.9219 - val_loss: 0.1544 - val_acc: 0.9401\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.1198 - acc: 0.9545 - val_loss: 0.2439 - val_acc: 0.9062\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.0938 - acc: 0.9646 - val_loss: 0.2386 - val_acc: 0.9349\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.0701 - acc: 0.9774 - val_loss: 0.1689 - val_acc: 0.9375\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.0644 - acc: 0.9767 - val_loss: 0.2907 - val_acc: 0.9349\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.0524 - acc: 0.9813 - val_loss: 0.2236 - val_acc: 0.9453\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.0284 - acc: 0.9906 - val_loss: 0.2394 - val_acc: 0.9401\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.0229 - acc: 0.9920 - val_loss: 0.1930 - val_acc: 0.9531\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"resnet50\", \"l1\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xl4FFXWwOHfyQKBsIUAshNURgKoBBBBBFHUQUXQAcVt\nRhiREXFwHcUdHdcZdRAFFQTH3Q9BhFEUNxBRUQgCsgkoAcIakH1NyPn+uN2kE7I0SSeV7pz3eerp\n6u7q6pNKcvr2rVvniqpijDEmskR5HYAxxpjQs+RujDERyJK7McZEIEvuxhgTgSy5G2NMBLLkbowx\nEciSuzHGRCBL7ibiiUiaiJzvdRzGlCVL7sYYE4EsuZsKS0RuFJHVIvK7iEwTkYa+x0VE/iMiW0Vk\nt4j8LCJtfM9dLCLLRGSPiGwQkbu8/SmMyZ8ld1Mhich5wJPAlUADYC3wnu/pC4FuwB+Amr5ttvue\nGw/8TVWrA22Ar8owbGOCFuN1AMZ45FpggqouABCRe4EdIpIEZALVgZbAj6q6POB1mUArEVmkqjuA\nHWUatTFBspa7qaga4lrrAKjqXlzrvJGqfgW8CIwGtorIWBGp4du0L3AxsFZEvhaRzmUctzFBseRu\nKqqNQDP/HRGJBxKBDQCqOkpV2wOtcN0z//A9Pk9V+wD1gA+BiWUctzFBseRuKopYEYnzL8C7wEAR\naSsilYEngB9UNU1EzhCRM0UkFtgHHASyRaSSiFwrIjVVNRPYDWR79hMZUwhL7qaimA4cCFi6Aw8C\nk4FNwEnAVb5tawDjcP3pa3HdNf/2PfdnIE1EdgM34frujSl3xCbrMMaYyGMtd2OMiUBBJXcR6Ski\nv/gu+BhewDZX+i7uWCoi74Q2TGOMMcejyG4ZEYkGVgIXAOnAPOBqVV0WsE0L3KiB81R1h4jUU9Wt\npRe2McaYwgTTcu8IrFbV31T1MO4qvj55trkRGO27qANL7MYY461grlBtBKwPuJ8OnJlnmz8AiMi3\nQDQwQlU/zbsjERkMDAaIj49v37Jly+LEbIwxFVZqauo2Va1b1HahKj8QA7TADS9rDMwWkVNVdWfg\nRqo6FhgL0KFDB50/f36I3t4YYyoGEVlb9FbBdctsAJoE3G/seyxQOjBNVTNVdQ2uj75FMAEYY4wJ\nvWCS+zyghYg0F5FKuAs9puXZ5kNcqx0RqYPrpvkthHHmtm9fqe3aGGMiQZHJXVWzgFuAGcByYKKq\nLhWRR0Wkt2+zGcB2EVkGzAT+oarb899jCb30ErRqBRkZpbJ7Y4yJBJ5doVrsPveffoKzzoIuXWDG\nDIiODn1wxpjjlpmZSXp6OgcPHvQ6lIgQFxdH48aNiY2NzfW4iKSqaoeiXh9+9dxTUmDMGPjrX+HB\nB+GJJ7yOyBgDpKenU716dZKSkhARr8MJa6rK9u3bSU9Pp3nz5sXaR3iWHxg4EG68EZ58EqZO9Toa\nYwxw8OBBEhMTLbGHgIiQmJhYom9B4ZncAUaNgvbt4frrYfVqr6MxxoAl9hAq6bEM3+QeFweTJ7s+\n9759Yf9+ryMyxphyI3yTO0CzZvDOO/DzzzBkCFj5YmMqrJ07dzJmzJjjft3FF1/Mzp07i94wzIR3\ncgf44x9hxAh44w145RWvozHGeKSg5J6VlVXo66ZPn06tWrVKKyzPhH9yB3jgAbjoIrj1VvjxR6+j\nMcZ4YPjw4fz666+0bduWM844g65du9K7d29atWoFwGWXXUb79u1p3bo1Y8eOPfq6pKQktm3bRlpa\nGsnJydx44420bt2aCy+8kAMHDnj145RY+A2FzE9UFLz1ljvB2q8fLFgAdep4HZUxFddtt8HChaHd\nZ9u2MHJkgU8/9dRTLFmyhIULFzJr1iwuueQSlixZcnQo4YQJE6hduzYHDhzgjDPOoG/fviQmJuba\nx6pVq3j33XcZN24cV155JZMnT+a6664L7c9RRiKj5Q5Qu7Y7wbp1K1x9NRw54nVExhgPdezYMdcY\n8VGjRnH66afTqVMn1q9fz6pVq455TfPmzWnbti0A7du3Jy0trazCDbnIaLn7tWsHo0fDoEGuH/6f\n//Q6ImMqpkJa2GUlPj7+6PqsWbP44osv+P7776latSrdu3fPdwx55cqVj65HR0eHdbdM5LTc/W64\nwS2PPQYffeR1NMaYMlK9enX27NmT73O7du0iISGBqlWrsmLFCubOnVvG0ZW9yGq5+734oqtB8+c/\nQ2oqnHii1xEZY0pZYmIiXbp0oU2bNlSpUoUTTjjh6HM9e/bk5ZdfJjk5mVNOOYVOnTp5GGnZCL/C\nYcFas8adYG3WDL77DqpUKb33MsawfPlykpOTvQ4jouR3TIMtHBZ53TJ+zZu7ETSLFsHNN9sFTsaY\nCiVykzvAxRe7ypH//S+MG+d1NMYYU2YiO7kDPPSQu4r173+HefO8jsYYY8pE5Cf36Gh4+21o0MBd\n4LS9dCaIMsaY8iTykztAYiJMmgSbN8O119oFTsaYiFcxkjtAhw5uiOSMGfDoo15HY4wxpariJHdw\nV64OGOCS+/TpXkdjjPFQtWrVANi4cSP9+vXLd5vu3btT1JDtkSNHsj9gPonyUkK4YiV3ETf/atu2\ncN11biy8MaZCa9iwIZMmTSr26/Mm9/JSQrhiJXdwFzNNnuzGvfftC2FcO8IYk2P48OGMHj366P0R\nI0bw2GOP0aNHD9q1a8epp57K1HzmXE5LS6NNmzYAHDhwgKuuuork5GQuv/zyXLVlhgwZQocOHWjd\nujUPP/ww4IqRbdy4kXPPPZdzzz0XyCkhDPDcc8/Rpk0b2rRpw0hfvZ2yKi0cmeUHinLiifDmm3Dp\npXDLLTB+vNcRGRNRPKj4S//+/bntttsYOnQoABMnTmTGjBkMGzaMGjVqsG3bNjp16kTv3r0LnJ/0\npZdeomrVqixfvpzFixfTrl27o889/vjj1K5dmyNHjtCjRw8WL17MsGHDeO6555g5cyZ18pQZT01N\n5bXXXuOHH35AVTnzzDM555xzSEhIKJPSwhWv5e7Xq5eb5GPCBEvuxkSAlJQUtm7dysaNG1m0aBEJ\nCQnUr1+f++67j9NOO43zzz+fDRs2sGXLlgL3MXv27KNJ9rTTTuO00047+tzEiRNp164dKSkpLF26\nlGXLlhUaz5w5c7j88suJj4+nWrVq/OlPf+Kbb74Byqa0cFAtdxHpCTwPRAOvqupTBWzXF5gEnKGq\npVg4JkRGjHAzNw0d6poF7dt7HZExEcGrir9XXHEFkyZNYvPmzfTv35+3336bjIwMUlNTiY2NJSkp\nKd9Sv0VZs2YNzzzzDPPmzSMhIYEBAwYUaz9+ZVFauMiWu4hEA6OBi4BWwNUi0iqf7aoDtwI/hDrI\nUuO/wKlePXeB0++/ex2RMaYE+vfvz3vvvcekSZO44oor2LVrF/Xq1SM2NpaZM2eydu3aQl/frVs3\n3nnnHQCWLFnC4sWLAdi9ezfx8fHUrFmTLVu28Mknnxx9TUGlhrt27cqHH37I/v372bdvH1OmTKFr\n164h/GkLF0y3TEdgtar+pqqHgfeAPvls90/gaaD4H2deqFPHXeC0caMbQZOd7XVExphiat26NXv2\n7KFRo0Y0aNCAa6+9lvnz53Pqqafyxhtv0LJly0JfP2TIEPbu3UtycjIPPfQQ7X3f5k8//XRSUlJo\n2bIl11xzDV26dDn6msGDB9OzZ8+jJ1T92rVrx4ABA+jYsSNnnnkmgwYNIiUlJfQ/dAGKLPkrIv2A\nnqo6yHf/z8CZqnpLwDbtgPtVta+IzALuyq9bRkQGA4MBmjZt2r6oT9Ey9fLLMGSI66rxnQk3xgTP\nSv6Gnqclf0UkCngOuLOobVV1rKp2UNUOdevWLelbh9bf/gZ/+Qs88gh8+qnX0RhjTIkEk9w3AE0C\n7jf2PeZXHWgDzBKRNKATME1EivxkKVdE4KWX4NRT4ZprIIwnxjXGmGCS+zyghYg0F5FKwFXANP+T\nqrpLVeuoapKqJgFzgd6lNVpm4UJ44gnIyCiFnVetCh984Prd+/WDEpwNN6Yi8mpmt0hU0mNZZHJX\n1SzgFmAGsByYqKpLReRREeldoncvhs8+g/vvhyZNXJmY1NQQv8FJJ8Ebb7gdDxsW4p0bE7ni4uLY\nvn27JfgQUFW2b99OXFxcsfcRlnOoLl/uCjy+/jrs2wedO7u5OPr2hUqVQhTgfffBk0+6i5wGDgzR\nTo2JXJmZmaSnp5do/LfJERcXR+PGjYmNjc31eLAnVMMyufvt2uVm0HvxRVi9GurXh5tucudG69cv\nYYBHjrgZnL791k2wXYZDmIwxpiAVYoLsmjXh1lvhl19cBd+UFDeSsWlTNyfH3LklmBc7OhrefdeN\ng+/bF3bsCGXoxhhTqsI6uftFRcFFF7kEv3Il3HwzfPSR667p2NF1oR86VIwd163rLnBKT7cLnIwx\nYSUiknugFi1cXYv0dBg92vXJX3+9OwH7wAPu8eNy5pluh9Onw+OPl0rMxhgTahGX3P2qV3ct+KVL\n4fPPXSv+iScgKQmuuAK++eY4umyGDHEt94cfdsN1jDGmnIvY5O4nAuefD1Onwq+/wu23w5dfQrdu\nro9+/Pgg5usQgVdegTZt3AVO5alsgjHG5CPik3ug5s3h3/92XTNjx7ou9EGDoHFjuOeeInJ21apu\nBqfMTNf0L1YnvjHGlI0Kldz9qlaFG2+ERYtg1iw491x49lk3QdPll8NXXxXQZdOihRtcP2+eG6Zj\njDHlVIVM7n4icM45bkDMmjWu9T5nDvTo4XpgXn4Z9u7N86LLLnMbvvKKa/4bY0w5VKGTe6AmTdwJ\n1/Xr4bXXIC7OnUdt3BjuuMP11x/12GPuE+Bvf3PN/jlzPIvbGGPyY8k9j7g4V7Nm/nx3cepFF8EL\nL7gemV69XDXg7KgYN5D++eddLYSuXd3VrD/+6HX4xuRiZV4qLkvuBRCBs85yF6muXQsPPugS/kUX\nQXIyjBobx+4Bw+C339xZ2tRUNya+d+/QT/tuzHH6+Wc47zx3FXf//vD+++6aD1NxWHIPQsOGbg6P\ndevgrbcgIcGdTz3pJHjrg6ronXe5TvvHHnMD6FNSXMngpUu9Dt1UMDt3ur/NlBQ3YKBPH5g5E668\n0l1w/ac/wTvvwO7dXkdqSp2qerK0b99ew9ncuaqdOqmC6oUXqv76q++JHTtUH3pItXp1VRHVq69W\n/eUXT2M1ke/IEdXx41Xr1nV/dkOGqG7b5p7LylKdNUv1lltUGzRwf7OVKqn26qX62muq27d7Gro5\nTsB8DSLHWnIvgaws1RdfdHm8ShXVf/1LNTPT9+S2barDh6tWraoaFaV6/fUBnwDGhM6PP6p27Oj+\nm886S3XBgoK3PXJE9dtvVW+/XbVpU/eamBjXQBk7VnXr1rKL2xSPJfcytH69au/e7mi2bas6b17A\nk5s3u/+kuDj3XzR4sOq6dZ7FaiLH1q2qN9zgWur166u+8YZqdnbwr8/Odh8M99yjetJJ7u83Kkr1\n3HNVR49W3bix9GI3xWfJvYxlZ6tOnuy+9kZFuXy+Z0/ABhs2qA4dqhob674T33KL/feYYsnMVH3h\nBdVatVx74c47VXftKtk+s7NVFy5UfeAB1ZYtXWYQUT37bNX//MfaI+WJJXeP7NihetNN7sg2a6Y6\nfXqeDdLSVAcNUo2Odq35O+5Q3bLFi1BNGPr6a9VTT3V/X+efr7psWem8z9Klqo88onraae69wHX9\n/Otf1rvotWCTe1jPxFSezZkDgwe7YfBXXeWqBp9wQsAGv/4Kjz7qht9UqeLmCfzHP6B2bc9iLq4j\nR1zJhp07oXJlN9Vh5crBrcfEuGGnpnAbNrg/j3ffdZPR/Oc/rlRGWRy7VatcWaVJk3LmLPYPCOvb\nF045pfRjMDkqxDR75d2hQ/D0064MfHw8PPOMm4411z/kihVunOX//Z+rU3z77W6pWdOzuIO1a5eb\nYvaFF9xI0OIQyT/pH88HROB6fLwb392uXWR8aBw65BoG//wnZGW5yhf33OPqI3lhzRr44AOX6OfO\ndY+1aeOSfL9+0Lq1d8ddFfbvh+3bYds2t/jXt293S8OG7vqVM87w7hiWlCX3cmT5cteKnzMHund3\nZWn+8Ic8G/38s6sXP2WKG0h/110wbBhUq+ZFyIVatQpGjXLz1+7dC2ef7UJNTnbJ6PDh3LclWT+e\nbTMzc2I8+WQ3trt/fzj11PBM9J9+6sasr1zpxqs/95wrbldepKe7RD95cs78CH/4g0vy/fpB27bF\nP+7+RB2YoINZL2xu7po1XYME3Cyabdu6RN+5s7tt2jQ8/k4suZcz2dnw6qtw993uD/DBB93X7EqV\n8my4YAE89BB8/LGbv/Wee9ysIx43M1Thiy9cxYWPP4bYWNfddOut0L69p6EdlZ3t/smnTXNfhL76\nynUZnXKKS/L9+0OrVl5HWbTffnP1jKZOdWUvRo2Cnj29jqpwmzfDhx+6Fv2sWe64N2+e03XTunXu\nVnQwybqgRC3i2j916kBiorstaj0hwXUBbt/uvnF8/72b9/6HH9yHCLhWvT/Rd+7svv1VrlxmhzBo\nltzLqU2bXEJ8/333dXbcOOjUKZ8N5851Sf7zz6F+fbj3Xtf8j4sr03j374c333QJZtkyqFfPFVS7\n6SYXVnmWkeFalv/3f/D11y75t27tkvyVV5a/vuL9+1033tNPu0T04INw223lM8EUZts298E0aZKb\nGCfwG1VegYk62GSdkOBa3qGQleW+NH/3nVu+/z6ni7FSJejQISfZd+4MDRqE5n1LItjkHtTIFqAn\n8AuwGhiez/N3AMuAxcCXQLOi9hmpo2WCNW2aauPGbrjZ0KGFDGX7+mvVbt3ccIXGjVVffln10KFS\nj2/dOjf+uXZt99YpKar//a/qwYOl/talYtMmd8FZ167umIPq6aerPvGE6urV3sbmH0brv6jo6qtV\n09O9jSlUfv/djb9/6inVV19V/fBD1TlzVJcvV83IcBcCljcbN7rfx113uYvCKlXKGTHUvLnqNde4\nv6XU1ICLFssQoRoKCUQDvwInApWARUCrPNucC1T1rQ8B/q+o/Vb05K6qunu36rBhLtk0auT+8POV\nna36+ec59Q6SklQnTAj5X1Z2trt68Yor3EjNqCjVvn1VZ88+votjyrv0dNWRI1U7d875p23f3g3z\nW7OmbGNZtswNaQQ3xHHWrLJ9f1O0gwdVv/9e9dln3f+Dv4QDqMbHu4u+7rtP9aOPcko+lKZQJvfO\nwIyA+/cC9xayfQrwbVH7teSeY+7cnLHLffu6653ylZ2t+vHHqu3auY1btFB9660SN38OHVJ9803V\nDh3cbmvVcq2Wsk50Xli7VvWZZ1TPOCPnH/bMM1Wfe650L9zZtctdfBQT4473qFHetALN8cvOdper\nvPOO6t//7hoG0dE5fz+nnKI6cKDquHGqS5a4kg+hFMrk3g94NeD+n4EXC9n+ReCBovZryT23w4dd\nF0Hlyqo1aqi+9FIhfxTZ2apTpqi2aZPzXfHRR487G23Z4l5Wv37OH+WYMXmurK1AfvvNdR+kpOT8\no3bpovr886G7mDg7232Q1q/vvrHdcINdwxYJ9u5137qeeMIVZPN3Z/obSz17uovCPv+85FcTe5Lc\ngeuAuUDlAp4fDMwH5jdt2rRkP2GEWrlS9bzzchLL0qWFbHzkiOrEiTkviIpyf0Xvv19ov/xPP6kO\nGOA+SMC95JNPQt/CCGcrV6o+9ljONyoR1XPOcR9+xU3GCxa43ym4bwo//BDSkE05kp3tisG+9por\nJ9WmTc65nqgo13grrjLvlgHOB5YD9YJ5Y2u5Fyw72/1R1K7tStE89FAQJzJ//dUVBmnUyP1a69Rx\nBW6WLFFV13PzwQcuQYErVjlkiDuxZQq3bJnqiBGqyck5/5w9eqi+8oo7KViU7dvdsY6KciV5x4+3\nD9KKaOdO1RkzVB9+2J2MLa5QJvcY4DegecAJ1dZ5tknxnXRtEcybqiX3oGzZonrttTldJrNnB/Gi\nrCxX0KZvX9XYWN1BTX226UhNStyt4EZk/PvfbhSDOT7Z2ao//+w+Q1u0cL+X6GjVP/7RJey8xzQr\nyw1uSkx02w0b5moPGVMSIUvubl9cDKz0JfD7fY89CvT2rX8BbAEW+pZpRe3TknvwPvnEDZAB9xUv\nmATxyy+qQ/+6X+MrHVJQ7crXOqnS1Zr5l7+qfvNNZA1/8UB2tuveGj7cnfIA9y3rkktUX39d9csv\nc857n3OO6uLFXkdsIkVIk3tpLJbcj8/evW50RVSUOxk3ceKx+Tk7233tu/hiPTrbzl/+opo6P9uN\n5Ro0SLVatZyvAk8/7QaAmxLJznY1/O+6K2esOrgesnfftc9RE1rBJne7QjXMLFgAN97obi+9FEaP\ndlfvvfmmKw2wfLmrPum/ijRXJUpwxWDefx/Gj4dvv3WX+vXqBTfc4Gb/jonx5OeKFKrukvZly9xV\nsOWwNJAJc1Z+IIJlZblE/tBDEBXl6rzs2OFqYdx6q7u8PqhL1lescGUdX38dtm5111Zffz389a+u\nqIkxptyx5F4BrFnjSs6ounLwXboUs6pdZqarBjZ+PEyf7oqwdOvmWvP9+nletMwYk8OSuymejRtd\nS378eDehSI0acPXVLtF36BAeNVGNiWDBJveosgjGhJGGDd3XgVWrXO3WPn3gjTegY0c4/XTXH7R9\nu9dRGmOKYMnd5E8EzjnHJfZNm+Cll1xH/m23uQ+A/v3hs89cF44xptyx5G6KVrOmG3ozbx4sXOjW\nv/gC/vhHNyPDiBGwdq3XURpjAlifuymegwfdjAzjx7tED9CsGSQluaV585z1pCRo1Ch0MywYU4HZ\nCVVTdtLS4J133ODutDQ3jGfjxtzbxMS4SSrzJn7/eoMGblynMaZQwSZ3u2LFlFxSEtx3X+7HDh2C\ndetcok9Ly1nWrHHDLjdvzr19pUou+eeX+JOS3NVYlvyNCZold1M6Kld2F0IVdDHUgQPHJn//+tSp\n7qKqQHFxBXf7NG8OdevaME1jAlhyN96oUsXNUF3QLNX79rmTtHkTf1oapKa6WZjz7s+f7Js2dUuT\nJjm3jRu7bwfGVBCW3E35FB8PrVq5JT979uQk/7yt/3nzjk3+Iq5rJ2/SD7ytV8+6fkzEsORuwlP1\n6tCmjVvys38/pKe7rp/163PfLl0Kn3zitglUqZJr4ReU/Js2dVfsGhMGLLmbyFS1KvzhD27Jj6qr\nthaY9APXv/4aNmyAI0dyv65GjcJb/40aBVm1zZjSZcndVEwiULu2W9q2zX+brCw3qie/1v/69fl3\n/wDUr++u4q1SxSX6wpa4uKK3CXa7mBg7qWyOsuRuTEFiYlw3TePGBW9TUPfPpk3uQq9Dh2D37pz1\n/JZQlXAQOfZDoEoVd4VxMEuNGrnv2zeQsGbJ3ZiSKKr7JxhZWbmTfWEfBHmXorbdvx927XLL+vXu\ndvduNxqpKJUrB//BUNCHRFycfZvwiCV3Y7wWE+OW+Piye8+sLJfk/Ym/sCVwu82bc9b37Cn6fWJj\nXZKvV+/Yk9P+xc5TlApL7sZURDExOecciuvIEZfgC/sw8C9btrguq59+cut51a9/7PUJgYtdpHbc\nLLkbY4onOhpq1XLL8Th4MOc8Rd7RSkuWuNnA8g5TrVz52KQfeL9Jk7L95hMGLLkbY8pWXBycfLJb\n8hM4TDVw8X8IfPGFK0yX90R0YmLhHwANGlSoyqSW3I0x5Usww1QzM12CD2z1+5e0NJg9G3buzP2a\n6Gh38VvgaKJKlY4dUprfY8ezbTCPVa3qusZKkSV3Y0z4iY11heSaNSt4m927j70+YfduOHw4/5FF\nhw+7D4S8j+XdLhTGjIEhQ0KzrwIEldxFpCfwPBANvKqqT+V5vjLwBtAe2A70V9W00IZqjDHHoUYN\naN3aLaGi6r41FPYBEczjZ50VupgKUGRyF5FoYDRwAZAOzBORaaq6LGCzG4AdqnqyiFwFPA30L42A\njTHGMyKui6VSJahWzetoChVMCbyOwGpV/U1VDwPvAX3ybNMHeN23PgnoIWLjlowxxivBJPdGwPqA\n++m+x/LdRlWzgF1AYt4dichgEZkvIvMzMjKKF7ExxpgilekJVVUdC4wFEJEMEVlbzF3VAfKp2FRh\n2fHIzY5HDjsWuUXC8SjkLHKOYJL7BqBJwP3Gvsfy2yZdRGKAmrgTqwVS1brBBJgfEZkfzASxFYUd\nj9zseOSwY5FbRToewXTLzANaiEhzEakEXAVMy7PNNOB633o/4CtV1dCFaYwx5ngU2XJX1SwRuQWY\ngRsKOUFVl4rIo8B8VZ0GjAfeFJHVwO+4DwBjjDEeCarPXVWnA9PzPPZQwPpB4IrQhlaosWX4XuHA\njkdudjxy2LHIrcIcD7HeE2OMiTw21bsJOyIyS0R2+K6MNsbkw5K7CSsikgR0BRToXYbva3WYTFgJ\nu+QuIj1F5BcRWS0iw72Oxysi0kREZorIMhFZKiK3eh1TGfkLMBf4LzkjtBCRKiLyrIisFZEjIvK7\niFTxPXe2iHwnIjtFZL2IDPA9PktEBgXsY4CIzAm4ryIyVERWAat8jz3v28duEUkVka4B20eLyH0i\n8quI7PE930RERovIs4E/hIhME5HbS+MABbxHLRGZJCIrRGS5iHQuzfcrz0Tkdt//yRIReVdE4ryO\nqdSpatgsuNE6vwInApWARUArr+Py6Fg0ANr51qsDKyvCsQBWAzfjitRlAif4Hh8NzAJGAO8C3wKV\ncRd87AGuBmJxV0639b1mFjAoYN8DgDkB9xX4HKgNVPE9dp1vHzHAncBmIM733D+An4FTAAFO923b\nEdgIRPm2qwPs98deisfqdf/P5/t/qeX178+jv5lGwJqA3+FEYIDXcZX2Em4t92Dq3FQIqrpJVRf4\n1vcAyzm2LEREEZGzccl6oqqm4j7orxGRKOCvwOO4LptxuEJ2h4BrgC9U9V1VzVTV7aq68Dje9klV\n/V1VDwCo6lu+fWSp6rO4D5BTfNsOAh5Q1V/UWeTb9kdcSY4evu2uAmapaj7zzYWGiNQEuuGGKaOq\nh1V1Z+FarFV6AAAc30lEQVSvimgxQBVf91pV3IdtRAu35B5MnZsKx9cPnQL84G0kpe564DNV9V8+\n/o7vsTpAHK5FfzcQOEVPE9yHQHEF/r0hInf5ujh2ichO3NXYdYJ4r9dxrX58t2+WIKZgNAcygNdE\n5CcReVVEKuQ8dKq6AXgGWAdsAnap6mfeRlX6wi25mzxEpBowGbhNVXd7HU9p8fWfXwmcIyKbRWQz\ncDuu66MBcBg47GvRB1oPnFTAbvfhWnF+9fPZ5uhYYV//+t2+OBJUtRauRe6vgFrYe70F9BGR04Fk\n4MMCtguVGKAd8JKqpuB+1gp5jkpEEnDf8JsDDYF4Ebmu8FeFv3BL7sHUuakwRCQWl9jfVtUPvI6n\nlF0GHAFaAW19SzLwDe4k6xJc8lyP6647X0TeAd72rV8pIjEikigi/rnbFgJ/EpGqInIybl6CwlQH\nsnAt4hgReQioEfD8q8A/RaSFOKeJSCKAqqbjSnm8CUz2d/OUonQgXVX93+Ym4ZJ9RXQ+sEZVM1Q1\nE/gAKP3ZMjwWbsk9mDo3FYKvXv54YLmqPud1PGXgeuA1VV2nqpv9C/AicC3QHXgZ9zddDddSvUFV\n1wEX405+/o5L6Kf79vkfXIt/C67b5O0iYpgBfIo7eb0WOEjubpvncCfrPgN2434/VQKefx04ldLv\nksF3bNaLiP98QA9gWSEviWTrgE6+D3HBHYvlHsdU6sLuClURuRgYSU6dm8c9DskTvpOL3+BGZ/j7\nmO9TVyqiQhOR7sBdqtrL61gCiUg3XPdMMy2DfzzfN5RXcSNlfgMGquqO0n7f8khEHsHNDpcF/IQb\nRRSiCVHLp7BL7saEI18X2nvAIlV91Ot4TOQLt24ZY8KOiCQDO3Enfkd6HI6pIKzlbowxEajIlruI\nTBCRrSKypIDnRURG+coBLBaRinpG3hhjyo1giiH9Fzci4Y0Cnr8IaOFbzgRe8t0Wqk6dOpqUlBRU\nkMYYY5zU1NRtGsQ0pcHMxDTbdwVkQfoAb/jO/s/1FStqoKqbCttvUlIS8+fPL+rtjTHGBBCRtcFs\nF4oTqkGXBBCRwSIyX0TmZ2RkhOCtjTHG5KdMa1Sr6lh801x16NDBzuQaY8onVThyxC1ZWTnrRd0P\ndts2baCUu6VDkdytJIAxxjuqsHMnbN1a9HLgQHAJurRHEY4ZA0OGlOpbhCK5TwNuEZH3cCdSdxXV\n326MMYU6cCC4ZL11K2RkQGZm/vupXRvq1XNL69YQHw/R0RAT427zrhd1P1TbNmtW6oewyOQuIu/i\n6nbUEZF04GHcpAeo6svAdFztjtW4CQgGllawxpgwlZUF27cHn7D37s1/P/HxOcm6SRNo3z7nft26\nOev16kGdOhAbW7Y/ZzkSzGiZq4t4XoGhIYvIGFP2VOHQIdi/H/bty7kNXC/JY3v25N/VER2dOyGf\ndFLu+4FL3bouuZug2KS/xhSXqmtlrluXe1m7Frb4JlmKigIRd1vQemk+n50dfBLOzi78580rNtYl\n26pV3a1/vVo1l4wDH6tZE0444diEXauWi9WEnCV3Ywpy4ACsX59/8l63zj13KE9hwfh4159av75L\nWtnZblF1XRP+9cDbgtaLej6YbaOijk3ANWtCw4bHJuX8EnVBz1etWqG7PMKBJXdTMam6E3H+RJ3f\nsnVr7teIQIMGLnm3bw+XXw5Nm+ZeEhLcdsZ4zJK7iUwHD7qWdWHJO79Wtz9Jt2t3bOJu1AgqVfLm\n5zHmOFlyN+FD1Z2Y27zZ9WkH3vrXN21ySb2gVnfTppCSAn36uBa4tbpNhLLkbry3f3/+iTq/xw7k\nM/Wof8TFCSe4vu7AVrc/gVur21QwltxN6Th0yCXjYBL2nj3Hvl7EjVOuX98l7bPPzkne/sf8t4mJ\nLsEbY46y5G5KZtcumDEDPv0U1qzJSdg7CpiqMyEhJ0F36JA7UQeu163rrugzJkIcOeJ6DdeudWVl\nGuVbXjF07L/HHL/Vq+Gjj+B//4PZs90Qv9q13eXdbdrA+ecf27quX991nVSu7HX0xpSK/ftzj5TN\ne5ue7v5VoExKy1hyN0HIyoLvvnPJ/KOPYMUK93jr1nDnnXDppdCpk3WNmIilCtu2FZy41651zweK\njnat82bNoEuXnNM/zZpB27alH7Mld5O/HTtcd8v//geffOLux8ZC9+6uydGrF5x4otdRmnIgMzPn\nNMqmTTmnU/zrmzbB4cPuwtVq1aB69Zz1gh7L735cXOkNZsrMdC3rwlreec/l+69Xa9rU9TD6E7f/\nsYYNve1ZtOQe5nbscBciJiaGYGcrV+a0zr/5xnUS1qkDvXu71vkFF0CNGiF4I1PeqcLu3QUn68Db\nvC1Wv8REN/q0fn3XG7dvn/sQ+PVXVxds7153Lj3YqgdRUSX7gKhWzf2/5E3ca9fCxo3Hlr454QSX\npE891bVlAgdfNWtW/kfOWnIPU5mZMHIkjBjhrtfp0gUuu8wN3z7ppOPYybffuoT+v//BqlXu8VNP\nhbvvdgm9Y8cK192i6g7N4cMFL4cOFf58Vpb7olOpklsqV85ZL2wJ3C46OvTJIyvr2FZ2fgl88+b8\nR51WqpSTsE8+2Q1i8t/33/pPswQz8lTV/f0GJnv/en7383ts06ZjtynqAyM21hWVbNbMtVnyJu4m\nTdw3hXAmWtpF6QvQoUMHtTlUi+f77+Fvf4Off3aN6rZtYepUWLTIPd+mjUvyffq4r4u5EsTvv7tu\nlo8+ciNcdu50/4XnnuuS+SWXlPoMMaUhIwO++sqdGtizJ7gEXFDCLqg0eFkTCf6DoKAlK+vYVnZ+\n//K1a+dOznkTtv+2Vq3y3VoF9/MdOJD/B0LNmi6B+0v/hCMRSVXVDkVuZ8k9fOzYAffeC2PHuhM1\nL7zgWut+a9bAtGnw4Yc5vSqNGim9u+7ksmpf0H35S1T6/mvXrKlXzyXySy91o1uqV/fuByuGvXvd\nQJ0vvoAvv4TFi93j8fEuUR1PC7mk2+W3TXS0S6zH+yET7LbBbhcVlX+SDlw/4QQbxBROLLlHEFV4\n5x244w4338Gtt8Ijj7g+xHwdPsz2j75n+th0PpyTyKf7urKfeGpE7eGilmu47OoqXDT0JGomhE/T\n5fBhmDvXJfIvv4QffnDJs3Jl1yXVo4db2re34fEmsllyjxCrVsHNN7sWaseO8MorBQyj2rbNdbf8\n739ulMvu3S7znXceB/54GV/WuIyp39Vj2jRXdiU21vXE9OnjunYaNy7zH61Q2dmum8mfzGfPduOI\no6JcAu/Rw33hOOssqFLF62iNKTuW3MPcoUPw9NPwxBMuRz/5pOtnz3Vuc88emDAB3n/fdcRnZ7vv\n2YHdLXlmrjlyxLV6p0513TcrV7rHO3TI6adv06bs+1VV3SiKL790H2QzZ7pvKQDJyTkt8+7dXb+v\nMRWVJfcwNnMm3HSTS7xXXQXPPef6R49KT4dRo1zn+65dril/6aVuad/+uM4UrVjhkvzUqa7bA9zw\n9T59XH/+WWeVXjfH5s05LfMvv3RD08B9i/An8/POK/3LtI0JJ5bcw1BGhrvg8803XYIdMwb++MeA\nDRYtgmefhXffda30fv3cCzp2DMn7b9rkenWmTnWt58OH3VjlSy91yf7CC90EPMW1axd8/XVOMl+6\n1D2ekOC6iPxdLS1alP8RGcZ4xZJ7GMnOdr0rd9/tRoHcfTfcf7+vL1kVPvsMnnnGZdz4eBg0yJ1V\nbd681GLas8d13X/4IXz8sRsxGRfnEnyfPi7h161b+D4OHnS9Rf6ulvnzXbdQlSpufLQ/mbdtW+GG\n0htTbJbcw8SSJa4L5ttvoVs3ePll18fMoUOuhf7ss26jBg1g2DDX8Z6QUKYxZma6oZX+7pt161zP\nz1ln5XTfnHyyS9wLFuS0zOfMcQk+OhrOOMMl8h49oHNnG3pnTHEFm9xR1SIXoCfwC7AaGJ7P882A\nL4HFwCygcVH7bN++vVZk+/ap3nOPakyMamKi6oQJqtnZqvr776pPPqnaoIEqqLZpo/rf/6oeOuR1\nyKrqYlywQPXhh1XbtnUhguof/qBaq1bO/TZtVG+9VXXaNNVdu7yO2pjIAczXIPJ2kS13EYkGVgIX\nAOnAPOBqVV0WsM37wEeq+rqInAcMVNU/F7bfitxynz4dhg6FtDQYOBD+9S+os2eNqycwfrwrwnHB\nBa4//cILy3UHdFqau3Dq00/dlwv/SdD69b2OzJjIFGzLPZhxEB2B1ar6m2/H7wF9gGUB27QC7vCt\nzwQ+PL5wK4YNG+C222DSJNf1MmsWnFPlR7j5GZg82fV1XHONu1rp9NO9DjcoSUmut2jYMK8jMcYE\nCmbMXCNgfcD9dN9jgRYBf/KtXw5UF5Fj6hSKyGARmS8i8zMyMooTb1g6csSNXExOdiVdHvtnNgsf\nncY5D3aDM890J0zvusvVD3j99bBJ7MaY8itUI5jvAl4UkQHAbGADcCTvRqo6FhgLrlsmRO9drqWm\nunOgqalw4flHGNPt/zjpzUfcIPamTeE//4Ebbgi72i7GmPItmOS+AWgScL+x77GjVHUjvpa7iFQD\n+qrqzlAFGY5274YHH4QXX4R6dY7wXt8PuHLWzcgX29yFRu+9B337WiEUY0ypCKZbZh7QQkSai0gl\n4CpgWuAGIlJHRPz7uheYENoww4eq6z5PToYXXlBuajmL5bsa0X/ylUjnTq6jfd486N/fErsxptQU\nmdxVNQu4BZgBLAcmqupSEXlURHr7NusO/CIiK4ETgMdLKd5yLS0NevVS+vWDent/43vtxOhfe1Lr\nL71h+XJ3+ec555Tr0S/GmMgQVNNRVacD0/M89lDA+iRgUmhDCx+ZmfDcM0d4ZIQSlXWYZ3mAYTFv\nE/PQTTD0f652ujHGlCHrFyihbz/fz03X72fJpjpcxhSeTxpJ03uuhr+sKVkhFmOMKQFL7sWwbx+s\nXbiDkUNXMm7RmTRhG1OTh9P7iU5w6VdWKMUY4zlL7nmouuqMgTOj550t3dUZTyCa9tzZYhojXq5P\ntfOe8jp0Y4w5qsIl98OH3ZWiBSXudetcsatA1arlzIzesSM0Xf8tzT4ezRnPXk2LO3rn/0bGGOOh\niEvuu3bln7D9txs3Hjv7e/36LnGffrorZetP5M2auSXXjO9padD6QrjkXLi9V1n/eMYYE5SwS+6/\n/w6//FJwAt+1K/f2lSpBkyYuSV9wwbGJu3FjV6c8KKquPm9UlJtJw4Y0GmPKqbBL7q+8Avfdl3O/\nVq2cRN2tW+7k3bQpnHDCcc06V7h33nEzWLzwgtu5McaUU2GX3Pv1c90nTZu6pUaNMnrjjAw3+1Hn\nzjBkSBm9qTHGFE/YJfcWLdxS5u64wxWMGTfOhjoaY8q9UHVYRLZPP4W33nL9Qa1bex2NMcYUyZJ7\nUfbudSdRk5Ph3nu9jsYYY4ISdt0yZe7BB90wnDlzbFZnY0zYsJZ7YX78EZ5/Hm6+Gbp08ToaY4wJ\nmiX3gmRmwqBB0LAhPPmk19EYY8xxsW6Zgvz73/DzzzB1ahmOtzTGmNCwlnt+fvkFHn0UrrwSelvt\nGGNM+LHknld2Ngwe7GqxjxrldTTGGFMs1i2T16uvwuzZMGGCq11gjDFhyFrugTZuhH/8A847DwYM\n8DoaY4wpNkvugW65xRV8f+UVq/hojAlr1i3j98EHMGUKPP00nHyy19EYY0yJWMsdYOdO12pPSXEF\nwowxJswF1XIXkZ7A80A08KqqPpXn+abA60At3zbDVXV6iGMtPffcA1u3wkcfQYx9mTGmODIzM0lP\nT+dg3nkqTbHExcXRuHFjYmNji/X6IjOZiEQDo4ELgHRgnohMU9VlAZs9AExU1ZdEpBUwHUgqVkRl\n7euvYexYdyK1XTuvozEmbKWnp1O9enWSkpIQO2dVIqrK9u3bSU9Pp3nz5sXaRzDdMh2B1ar6m6oe\nBt4D+uSNBfBfxlkT2FisaMrawYNw441w4okwYoTX0RgT1g4ePEhiYqIl9hAQERITE0v0LSiYPohG\nwPqA++nAmXm2GQF8JiJ/B+KB8/PbkYgMBgYDNC0P09T985+wahV8/rm7aMkYUyKW2EOnpMcyVCdU\nrwb+q6qNgYuBN0XkmH2r6lhV7aCqHerWrRuity6mRYvgX/9y49nPz/ezyBhjwlYwyX0D0CTgfmPf\nY4FuACYCqOr3QBxQJxQBloojR1x3TO3a8MwzXkdjjAmBnTt3MmbMmON+3cUXX8zOnTtLISJvBZPc\n5wEtRKS5iFQCrgKm5dlmHdADQESScck9I5SBhtQLL8C8ea52TGKi19EYY0KgoOSelZVV6OumT59O\nrVq1SisszxTZ566qWSJyCzADN8xxgqouFZFHgfmqOg24ExgnIrfjTq4OUFUtzcCLLS0N7r8fevVy\nVR+NMaF3222wcGFo99m2LYwcWeDTw4cP59dff6Vt27bExsYSFxdHQkICK1asYOXKlVx22WWsX7+e\ngwcPcuuttzJ48GAAkpKSmD9/Pnv37uWiiy7i7LPP5rvvvqNRo0ZMnTqVKlWqhPbnKCNBDer2jVmf\nnuexhwLWlwHlf6oiVTcfalQUjBljJQaMiSBPPfUUS5YsYeHChcyaNYtLLrmEJUuWHB1KOGHCBGrX\nrs2BAwc444wz6Nu3L4l5vrmvWrWKd999l3HjxnHllVcyefJkrrvuOi9+nBKrWFfsvP02zJgBL74I\nTZoUvb0xpngKaWGXlY4dO+YaIz5q1CimTJkCwPr161m1atUxyb158+a0bdsWgPbt25OWllZm8YZa\nxUnuGRnuq2LnzjBkiNfRGGNKWXx8/NH1WbNm8cUXX/D9999TtWpVunfvnu8Y8sqVKx9dj46O5sCB\nA2USa2moOLVlbr8ddu+GceNct4wxJqJUr16dPXv25Pvcrl27SEhIoGrVqqxYsYK5c+eWcXRlr2K0\n3D/5xHXJPPwwtG7tdTTGmFKQmJhIly5daNOmDVWqVOGEgMl2evbsycsvv0xycjKnnHIKnTp18jDS\nsiFeDWrp0KGDzp8/v/TfaO9el9Dj4+GnnyDga5cxJnSWL19OcnKy12FElPyOqYikqmqHol4b+S33\nBx+E9ethzhxL7MaYCiOyO59/+AGefx5uvhnOOsvraIwxpsxEbnI/fNiVGGjUCJ54wutojDGmTEVu\nt8y//w0//wzTpkGNGkVvb4wxESQyW+4rVsCjj7ryApde6nU0xhhT5iIvuWdnw+DBbnTMqFFeR2OM\nMZ6IvOQ+bhx88w08+ywEjHM1xphA1apVA2Djxo3069cv3226d+9OUUO2R44cyf79+4/eLy8lhCMr\nuW/cCHffDeed5ybhMMaYIjRs2JBJkyYV+/V5k3t5KSEcWSdUb7nFjZIZO9YqPhrjIQ8q/jJ8+HCa\nNGnC0KFDARgxYgQxMTHMnDmTHTt2kJmZyWOPPUafPrmngE5LS6NXr14sWbKEAwcOMHDgQBYtWkTL\nli1z1ZYZMmQI8+bN48CBA/Tr149HHnmEUaNGsXHjRs4991zq1KnDzJkzj5YQrlOnDs899xwTJkwA\nYNCgQdx2222kpaWVSWnhyGm5f/ABTJniTqSedJLX0Rhjylj//v2ZOHHi0fsTJ07k+uuvZ8qUKSxY\nsICZM2dy5513UthV+S+99BJVq1Zl+fLlPPLII6Smph597vHHH2f+/PksXryYr7/+msWLFzNs2DAa\nNmzIzJkzmTlzZq59paam8tprr/HDDz8wd+5cxo0bx08//QS40sJDhw5l6dKl1KpVi8mTJ4f4aERK\ny33nThg6FFJSXIEwY4ynvKj4m5KSwtatW9m4cSMZGRkkJCRQv359br/9dmbPnk1UVBQbNmxgy5Yt\n1K9fP999zJ49m2HDhgFw2mmncdpppx19buLEiYwdO5asrCw2bdrEsmXLcj2f15w5c7j88suPVqf8\n05/+xDfffEPv3r3LpLRwZCT3u+92JX0//hhiIuNHMsYcvyuuuIJJkyaxefNm+vfvz9tvv01GRgap\nqanExsaSlJSUb6nfoqxZs4ZnnnmGefPmkZCQwIABA4q1H7+yKC0c/t0ys2a5ETJ33AHt2nkdjTHG\nQ/379+e9995j0qRJXHHFFezatYt69eoRGxvLzJkzWbt2baGv79atG++88w4AS5YsYfHixQDs3r2b\n+Ph4atasyZYtW/jkk0+OvqagUsNdu3blww8/ZP/+/ezbt48pU6bQtWvXEP60hQvvZu6BA25M+4kn\nwogRXkdjjPFY69at2bNnD40aNaJBgwZce+21XHrppZx66ql06NCBli1bFvr6IUOGMHDgQJKTk0lO\nTqZ9+/YAnH766aSkpNCyZUuaNGlCly45s4oOHjyYnj17Hu1792vXrh0DBgygY8eOgDuhmpKSUmaz\nO4V3yd/773d1Y774Anr0CE1gxphisZK/oVeSkr/h2y2zaBH8618wcKAldmOMySM8k/uRIzBoENSu\nDc8843U0xhhT7gSV3EWkp4j8IiKrRWR4Ps//R0QW+paVIlK6196OGgXz57vb2rVL9a2MMcHzqps3\nEpX0WBZ5QlVEooHRwAVAOjBPRKap6rKAIG4P2P7vQEqJoirMmjXwwAPQq5er+miMKRfi4uLYvn07\niYmJiF0hXiKqyvbt24mLiyv2PoIZLdMRWK2qvwGIyHtAH2BZAdtfDTxc7IiK8vbbEBUFY8ZYiQFj\nypHGjRuTnp5ORkaG16FEhLi4OBo3blzs1weT3BsB6wPupwNn5rehiDQDmgNfFfD8YGAwQNOmTY8r\n0KPuvx+uuQaaNCne640xpSI2NpbmzZt7HYbxCfUJ1auASap6JL8nVXWsqnZQ1Q5169Yt3juIuHHt\nxhhjChRMct8ABDaTG/sey89VwLslDcoYY0zJBJPc5wEtRKS5iFTCJfBpeTcSkZZAAvB9aEM0xhhz\nvIrsc1fVLBG5BZgBRAMTVHWpiDwKzFdVf6K/CnhPgxy/k5qauk1ECi/0ULA6wLZivjYS2fHIzY5H\nDjsWuUXC8WgWzEaelR8oCRGZH8zltxWFHY/c7HjksGORW0U6HuF5haoxxphCWXI3xpgIFK7JfazX\nAZQzdjxys+ORw45FbhXmeIRln7sxxpjChWvL3RhjTCEsuRtjTAQKu+ReVPnhikJEmojITBFZJiJL\nReRWr2MqD0QkWkR+EpGPvI7FayJSS0QmicgKEVkuIp29jskrInK77/9kiYi8KyLFL7cYJsIquQeU\nH74IaAVcLSKtvI3KM1nAnaraCugEDK3AxyLQrcByr4MoJ54HPlXVlsDpVNDjIiKNgGFAB1Vtg7sY\n8ypvoyp9YZXcCSg/rKqHAX/54QpHVTep6gLf+h7cP24jb6Pylog0Bi4BXvU6Fq+JSE2gGzAeQFUP\nq2rpTqJTvsUAVUQkBqgKbPQ4nlIXbsk9v/LDFTqhAYhIEm6ClB+8jcRzI4G7gWyvAykHmgMZwGu+\nbqpXRSTe66C8oKobgGeAdcAmYJeqfuZtVKUv3JK7yUNEqgGTgdtUdbfX8XhFRHoBW1U11etYyokY\noB3wkqqmAPuACnmOSkQScN/wmwMNgXgRuc7bqEpfuCX34yk/HPFEJBaX2N9W1Q+8jsdjXYDeIpKG\n6647T0Te8jYkT6UD6arq/zY3CZfsK6LzgTWqmqGqmcAHwFkex1Tqwi25B1V+uCIQN0nleGC5qj7n\ndTxeU9V7VbWxqibh/i6+UtWIb50VRFU3A+tF5BTfQz0oeGrMSLcO6CQiVX3/Nz2oACeXg5lmr9wo\nqPywx2F5pQvwZ+BnEVnoe+w+VZ3uYUymfPk78LavIfQbMNDjeDyhqj+IyCRgAW6U2U9UgDIEVn7A\nGGMiULh1yxhjjAmCJXdjjIlAltyNMSYCWXI3xpgIZMndGGMikCV3Y4yJQJbcjTEmAv0/XhOIogBh\niCsAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1aed90f10>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: resnet50-l1-final.h5 ===\n",
      "\n",
      "Accuracy: 0.915\n",
      "\n",
      "Confusion Matrix\n",
      "[[377  51]\n",
      " [ 17 355]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.96      0.88      0.92       428\n",
      "          1       0.87      0.95      0.91       372\n",
      "\n",
      "avg / total       0.92      0.92      0.92       800\n",
      "\n",
      "=== Evaluating model: resnet50-l1-best.h5 ===\n",
      "\n",
      "Accuracy: 0.910\n",
      "\n",
      "Confusion Matrix\n",
      "[[402  24]\n",
      " [ 48 326]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.89      0.94      0.92       426\n",
      "          1       0.93      0.87      0.90       374\n",
      "\n",
      "avg / total       0.91      0.91      0.91       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"resnet50\", \"l1\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[1, 2] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Input: Elementwise Euclidean Distance"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "train_gen = data_generator(train_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "val_gen = data_generator(val_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "input_1 = Input(shape=(VECTOR_SIZE,))\n",
    "input_2 = Input(shape=(VECTOR_SIZE,))\n",
    "merged = Lambda(euclidean_distance, \n",
    "                output_shape=euclidean_distance_output_shape)([input_1, input_2])\n",
    "\n",
    "fc1 = Dense(512, kernel_initializer=\"glorot_uniform\")(merged)\n",
    "fc1 = Dropout(0.2)(fc1)\n",
    "fc1 = Activation(\"relu\")(fc1)\n",
    "\n",
    "fc2 = Dense(128, kernel_initializer=\"glorot_uniform\")(fc1)\n",
    "fc2 = Dropout(0.2)(fc2)\n",
    "fc2 = Activation(\"relu\")(fc2)\n",
    "\n",
    "pred = Dense(2, kernel_initializer=\"glorot_uniform\")(fc2)\n",
    "pred = Activation(\"softmax\")(pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model = Model(inputs=[input_1, input_2], outputs=pred)\n",
    "# model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(optimizer=\"adam\", loss=\"categorical_crossentropy\", metrics=[\"accuracy\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "90/90 [==============================] - 2s - loss: 0.7217 - acc: 0.5681 - val_loss: 0.6145 - val_acc: 0.5964\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "90/90 [==============================] - 0s - loss: 0.5600 - acc: 0.7021 - val_loss: 0.5265 - val_acc: 0.7188\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "90/90 [==============================] - 0s - loss: 0.4639 - acc: 0.7767 - val_loss: 0.5577 - val_acc: 0.7135\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "90/90 [==============================] - 0s - loss: 0.3605 - acc: 0.8427 - val_loss: 0.4957 - val_acc: 0.7552\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "90/90 [==============================] - 0s - loss: 0.2916 - acc: 0.8830 - val_loss: 0.5110 - val_acc: 0.7708\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "90/90 [==============================] - 0s - loss: 0.2434 - acc: 0.9066 - val_loss: 0.4938 - val_acc: 0.7578\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "90/90 [==============================] - 0s - loss: 0.1968 - acc: 0.9271 - val_loss: 0.4102 - val_acc: 0.8359\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "90/90 [==============================] - 0s - loss: 0.1491 - acc: 0.9448 - val_loss: 0.5496 - val_acc: 0.7943\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "90/90 [==============================] - 0s - loss: 0.1381 - acc: 0.9517 - val_loss: 0.6036 - val_acc: 0.7734\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "90/90 [==============================] - 0s - loss: 0.1316 - acc: 0.9500 - val_loss: 0.4685 - val_acc: 0.8438\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "best_model_name = get_model_file(DATA_DIR, \"resnet50\", \"l2\", \"best\")\n",
    "checkpoint = ModelCheckpoint(best_model_name, save_best_only=True)\n",
    "train_steps_per_epoch = len(train_triples) // BATCH_SIZE\n",
    "val_steps_per_epoch = len(val_triples) // BATCH_SIZE\n",
    "history = model.fit_generator(train_gen, steps_per_epoch=train_steps_per_epoch, \n",
    "                              epochs=NUM_EPOCHS, \n",
    "                              validation_data=val_gen, validation_steps=val_steps_per_epoch,\n",
    "                              callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJztnXl4VeXxxz8DCUvYCbKGTUEJIGtYLIJQXBAruIJrxaoo\nahGsbV1qi9aqtRbRigsqLr8KlKKotQJuUNxAQAFZVCJrWEPYggTIMr8/JiEJJCSGJOfem/k8z3ly\n7znnnjP33JvvnTPvvDOiqjiO4ziRRaWgDXAcx3FKHxd3x3GcCMTF3XEcJwJxcXccx4lAXNwdx3Ei\nEBd3x3GcCMTF3XEcJwJxcXciHhFZLyJnB22H45QnLu6O4zgRiIu7U2ERkZtEJFFEdonIOyLSNHu9\niMgTIrJDRPaJyDci0jF722ARWSUiqSKyWUTuCvZdOE7BuLg7FRIR+TnwCDAMaAJsAKZlbz4X6Aec\nCtTJ3icle9tLwM2qWgvoCHxcjmY7TrGJCtoAxwmIq4HJqvoVgIjcA+wWkVZAOlALaAd8qaqr87wu\nHWgvIstUdTewu1ytdpxi4p67U1FpinnrAKjqfsw7b6aqHwNPAxOBHSIySURqZ+96KTAY2CAi/xOR\nM8rZbscpFi7uTkVlC9Ay54mI1ABigc0AqvqUqnYH2mPhmd9mr1+kqkOBhsBbwPRytttxioWLu1NR\niBaRajkLMBW4XkS6iEhV4GFgoaquF5EeItJLRKKBH4GDQJaIVBGRq0WkjqqmA/uArMDekeMcBxd3\np6LwHpCWZ+kP3A+8AWwFTgGuyN63NvACFk/fgIVr/pa97VpgvYjsA27BYveOE3KIN+twHMeJPNxz\ndxzHiUBc3B3HcSIQF3fHcZwIxMXdcRwnAglshmqDBg20VatWQZ3ecRwnLFmyZMlOVT2pqP0CE/dW\nrVqxePHioE7vOI4TlojIhqL38rCM4zhORBJ+4q4KP/4YtBWO4zghTfiJ+8svQ8eOsGBB0JY4juOE\nLOEn7u3b298zz4RHH4UsL+3hOI5zNOEn7r17w9dfw6WXwj33wLnnwtatQVvlOI4TUoSfuAPUrQvT\npsGLL8IXX0CnTvDee0Fb5TiOEzKEp7gDiMANN8DixdCsGVxwAYwdC4cOBW2Z4zhO4ISvuOcQH2+D\nq7/+NUyYAGecAd9/H7RVjuM4gRL+4g5QrRo89RS88w5s3AjdusErr1japOM4TgUkMsQ9hwsvhGXL\noEcPuP56uPpq2LcvaKscx3HKncgSd7D4+4cfwkMPwfTp0LUrfPll0FY5juOUK5En7gCVK8N998H8\n+ZCZCX36wGOPeU684zgVhsgU9xx+9jNYuhQuugh+/3s47zzYti1oqxzHccqcyBZ3sJz46dNh0iT4\n7DPLiZ81K2irHMdxypTIF3ewnPibbrKc+MaNYfBg+M1v4PDhoC1zHMcpEyqGuOfQvr0Nrt52G4wf\nb2GbNWuCtspxHKfUqVjiDpYT//TT8NZbsG6dZdO89lrQVjmO45QqFU/ccxg61HLiExLguuvg2msh\nNTVoqxzHcUqFYom7iAwSke9EJFFE7i5kn2EiskpEVorIlNI1M5fPP4e77oLvviuFg8XFwUcfwYMP\nwpQp5sV76z/HcSKAIsVdRCoDE4HzgfbAlSLS/qh92gL3AH1UtQMwpgxsBWDRInjySWjXDs46C/75\nT0hLO4EDVq4M998P//ufDbCecQY8/rjnxDuOE9YUx3PvCSSq6lpVPQxMA4Yetc9NwERV3Q2gqjtK\n18xc7rgDkpKsT8fmzRZNadbM1q9YcQIHPvNMC9MMHQq//a1l1GzfXmp2O45TvqjC+vU2pHbjjdCh\nA4wYUXGmuhRH3JsBm/I8T8pel5dTgVNF5DMRWSAigwo6kIiMFJHFIrI4OTm5ZBYDjRrZnKTvv7eo\nynnnwXPPwemnWwLMK6/AgQMlOHC9evDvf9vB/vc/y4mfM6fEdjqOU36oWrh20iS45hpo2RJat7Yh\ntTffNCdw6lS765840SavRzKlNaAaBbQF+gNXAi+ISN2jd1LVSaqaoKoJJ5100gmftFIl+PnP7QPb\nvBn+/nfYtctqhjVpYhmPS5f+xIOKwM03W+y9YUMYNMg8ec+Jd5yQIivLbrb/8Q+4/HKbwtKunf37\nfvihNW17+mlYvhx27oT334dvvoGePeH22+1vRJedUtXjLsAZwJw8z+8B7jlqn+eA6/M8/wjocbzj\ndu/eXcuCrCzV+fNVr7lGtWpVVVDt0UN10iTVfft+4sEOHFAdNcoOkpCgumZNmdjsOE7RHD6sunCh\n6t/+pnrhhap169q/Jqi2aKF67bWqL7yg+t13pgOFkZWlOn26atOmqiKqN9+smpJSfu/jRAEWaxG6\nrXZZihT3KGAt0BqoAiwDOhy1zyDg1ezHDbAwTuzxjltW4p6XlBTVJ59U7djR3mnNmqo33aT65ZfH\n//CP4c03VevVswP8859lZq/jOLmkpZmj9tBDqueco1qjRq6Yn3qq6o03qr72mur69SU7/r59qnfe\nqVq5smqDBqqTJ6tmZpbueygLSk3c7VgMBr4HfgDuy173IDAk+7EA44FVwDfAFUUdszzEPYesLNXP\nP1e9/nrV6tXtXXfpojpxouqePcU8yIYNqn372ot/+csS3AY4jnM89u9X/eAD1T/8QbVfv9w7b1A9\n/XTV225T/de/VLduLd3zLlum2qePnadPH3seypSquJfFUp7inpc9e1SfecbEHUzsR4ww8S/Sm09P\nVx03TrVSJdW2bVUXLCgXmx0nEtm9W/U//1H97W9Ve/VSjYqy/8lKlSwKeuedqm+/XT4hk8xM1Zdf\nNg++cmXVsWND138rrriL7Vv+JCQk6OIAJwypwpIlNrI+dSrs32+pUjfdZOmV9esf58Xz51uXp6Qk\n6N/f8jAvvNBy5suIAwdg7VpITMy//PADxMZaxtCgQTaIFB1dZmY4TonZsQM++cT+febPt8FQVfu+\n9uxp81b69bOpJrVrB2Pjrl1w772mC02awBNP2GCtSDD2FISILFHVhCL3q6jinpfUVPjXv+wDXbQI\nqlaFyy6DkSOhb99CPti9e+0FTz9tfVtbtbIh+BtusDLDJbTjhx+OFfDERMsGyktsLLRpAyefDJs2\nwRdfWGpX7dowcKCJ/XnnmVmOExQHD1qfnKlT4dtvbV316pay3K+fLb162bpQ4ssvYdQo+OorOPts\nS5089dSgrTJc3EvI0qXwwgs283XfPjjtNPPmf/lLKDB7MyMD3n7bps1+8gnUqGGJtb/+teVlHcWe\nPQWLd2LisXOmGjUyAT96OeUUS8k/+rgffwyzZ1tq/saNtv6008yjP+8884xiYkrnOjlOUXz8Mdxy\nixVePftsW/r1g+7doUqVoK0rmsxMm/Jy3302C/53vzOvPugfIhf3E+THH20+0wsvWD2b6Gi45BIT\n+gEDLMf+GL7+Gn3yKXZNmU1iegsST7+ExE6XkEgb1iQKiYmQkpL/JU2bHivebduagNeqVTLbVc1L\nmjPHxP5//zMPqmpVE/icEE58fGjdbjqRwc6d1i7htdfse/zss3DOOUFbVXK2bbOpLv/8p02Keuop\n+MUvgrPHxb0UWbnSRP6112D3bvvC3nij3VquW3esB75nT+5rhSyaR22lzclZtOnTmDbx0UdE/OST\nzdEva9LSLMaZ49WvXm3r4+Jyvfqzzy5xNMlxAHMqXnvNhH3vXvN0//CH4D3d0mLePJsYuWqVVSl5\n8kmbBVveuLiXAQcPwhtvmND/73+56ytVstj2MSGUFodp/fWbVHv2CQvi1a5tMfnbbzdlD4iNG3O9\n+g8/tPBT5coW+8wR++7dy3R82Ikwvv/eQjBz55rT8/zz0LFj0FaVPocPw4QJ8MAD9mP2xz/CnXeW\nb5ipuOJe4VIhS4vvvlOdNUv1++9VDx0qxgu++EL1yist30tEdehQ1Y8++omzqUqfw4dVP/nEcosT\nEsw0UI2NVb3iCtVXXlHdsiVQE50Q5uBB1QcftJz0OnVUn3suPCYCnSgbNqhecon9r7RrZ//K5QWe\nChmibN5sQcjnn7fg5Omnw+jRlloZAvevycnwwQfm2c+ZkzvI27lzbqy+T5/y81RULYto1y4Lie3a\ndfzH+/bZDVKDBpZR1KBBwUtsLNSs6WMOJ8Inn1gdl9WrYdgw82ibNAnaqvLlvfcsd2LtWrjqKqsW\nXtbXwMMyoU5amuWHPfmkVTaKjbXcy1tvtWB4CJCVZablxOo//dSSg2rUsIJtOSGcU04p+ljp6cUT\n54IeH696X9WqNichZ6lVy34Mdu60JSWl8NL8VaoULPrH+0GIifEfhN27LZ7+4osWc37mGauQXVFJ\nS7MS5I8+al08//xn+zeOiiqb87m4hwuqNtr55JOWUikCl15qE6POOCOklCQ11WKqs2fbsm6drW/T\nBs491zzhwoR6//7jH7tuXRPnevVyhbqwx3mfF3Wzk5VlA9wpKbmCf/Ry9LZdu+xjKYhq1Yr3gxAX\nZ2moIfTxnTCqMG0ajBlj12zsWBg3rnySAsKBNWvMi58zB7p0sRv03r1L/zwu7uHI+vU2KerFFy3d\nICHBQjbDhpmLGkKoWmZQzsDs3Lnm1RckwEWJdZ06oTV4m5lpP0wFCX9hPwi7dx97nI4drTnE1Vdb\nOdpwZu1a80bnzIEePWz+XpcuQVsVeqha0sWYMRaBvfFG8+hjY0vvHD6gGs6kploBnHbtbMSmUSOr\nabNtW9CWFUpmZuBjw4GSnq66fbvqqlVWyfCZZ1R797aPr3JlK1H7xhvFHHwPIQ4fVn30UavBVLOm\n6lNPqWZkBG1V6LNvn+pdd9lnHxur+uKLpTfQjBcOiwAyM1Vnz1YdPNg+qipVrGj14sVBW+YUk1Wr\nVH//e9UmTXKzkEaPVv3qq6AtK5ovvrBqjKB60UWqmzYFbVH4sXy56pln2jU84wzVr78+8WO6uEca\n332nevvt5j7l1CadPt1cRifkSU9Xfe891WHD7DcaVDt3Vn3iCdUdO4K2Lj979qjeequlxTZrpjpz\nZtAWhTdZWZZSfNJJVvHyjjtU9+4t+fFc3COVPXtMEU4+2T6+uDjVxx47sW+LU66kpFgvgR497COM\nijLP+K23LAwSFFlZqv/+t91liNgdRqiWvQ1Hdu2yxm4i1k2qpBRX3H1ANVzJzIT//teSi+fOtVHJ\nUaMsyybcR+8qECtWwKuvwv/9n80pOOkka+48YoT1Zy8vNm60qfXvvmsDpZMm2cCpU/p89ZWVFy9p\njoQPqFYkFi1SvfxycwmqVlUdOdL7vYYZ6enWuOLSS1Wjo82j79rVBjCTk8v2vOPHWwu7mBjVxx/3\nSF+oQzE994JqGzrhRkICTJ8O331n5YZffdWKTw8bZh1JnJAnKsoqDc6YAVu3WuVBEcuEbdrUpj68\n+66lm5YWS5ZYPaE777RqoStXWtGvspp845QvLu6RRNu2VtZg/Xr4/e8tKTkhwUo+fvBB4TNznJAi\nNtYmwyxZYt2Kbr/dpvpfeKFNjrrrLhPikpKaahOQevaELVvML3j3XW/sEmm4uEcijRvDI49Yi6bH\nHrMapeeea0L/r38dfz6/E1J06gTjx9uEmLfftknLTz5pE6R69LCp/7t2Ff9477xj8d4JE6zaxerV\noddGzikdXNwjmdq1rcvAunVWp3j/frjiCpsX/9xzVhTDCQuio2HIEJg507ztJ56w8rO33WaFqoYN\ng1mzCg/bbN5soZ2hQ+1r8dlnNj3ea/hHLi7uFYGqVW0e9KpVNjc6NtYya1q1gocfzt9dxAl5TjrJ\nprcvWwZff2111D/+2Ip3tWhhEbmchiyZmdb/Mz7eKhg+/LBla/zsZ8G+B6fsKVYqpIgMAp4EKgMv\nquqjhex3KTAD6KGqx81z9FTIAFG1tjJ//avF5WvWtNqtY8dCs2ZBW+eUgMOHLTP25ZdNxDMzbbA0\nK8uavp9zjnnqxang6YQ2xU2FLNJzF5HKwETgfKA9cKWItC9gv1rAHcDCn26uU66IWCPY2bPN9bvw\nQrvPb93aOkXltKl3woYqVeDiiy2mvnkz/P3v1gd4yxbr/Tlnjgt7RaM4YZmeQKKqrlXVw8A0YGgB\n+/0Z+CtwsBTtc8qaLl1gyhQr8ThypD1u396UYsGCoK1zSkCjRpbe+M03kJRkVSl9wLTiURxxbwZs\nyvM8KXvdEUSkG9BcVf97vAOJyEgRWSwii5OTk3+ysU4Z0rq1lRvesAHuu8+axJ5xBvTvbyN1nkbp\nOGHFCQ+oikglYDzwm6L2VdVJqpqgqgknnXTSiZ7aKQsaNrRWMhs2WA5eYqKN1HXpAq+/XrqzaBzH\nKTOKI+6bgeZ5nsdlr8uhFtARmCci64HewDsiUnTtAyd0qVXLBljXrrVRuvR0K3rSpo15+AcOBG2h\n4zjHoTjivghoKyKtRaQKcAXwTs5GVd2rqg1UtZWqtgIWAEOKypZxwoQqVayK1YoVNoumWTObPtmy\nJTz4oLUkchwn5ChS3FU1A7gdmAOsBqar6koReVBEhpS1gU6IUKmSzaL57DObC9+rF/zpT5ZYPWaM\nlRV0HCdk8JK/TslZscLKG0yZYukY554LF11kqZVedthxyoRSy3N3nELp2BFeew1++MG899WrLZ2y\naVObAvnXv1qlSsdxyp2Q8tzT09NJSkri4EFPlS8NqlWrRlxcHNHR0eVzQlVLrn77bXjrLZvnDlbL\n5qKLrLBJr14W4nEcp0QU13MPKXFft24dtWrVIjY2FvFZFyeEqpKSkkJqaiqtW7cOxohNm2zK5Ftv\nWbmDjAybYTNkiAn9wIFQrVowtjlOmBKWYZmDBw+6sJcSIkJsbGywd0HNm1vZwg8+gORky5M/6yyY\nOtU6UzRoAJddZvPjd+8Ozk7HiUBCStwBF/ZSJKSuZd26cNVVVk9+506b9XrNNfD553DttVbqcOBA\na0G0YUPQ1jpO2BNy4u5UAKpWhUGDrKZ8UhIsXAi/+x1s22YNvlu1gq5dYdw4WLrUSx84Tglwcc/D\nnj17eOaZZ37y6wYPHswer4leMipVsn5vDz9sveO+/x7+9jeoUcMmSXXtanVv7rjDipanpwdtseOE\nBS7ueShM3DOKqKfy3nvvUddb2pQObdtak9BPPzVP/qWXrNfcpEkWtmnUyMI4M2ZYZynHcQrExT0P\nd999Nz/88ANdunShR48e9O3blyFDhtC+vZWvv+iii+jevTsdOnRg0qRJR17XqlUrdu7cyfr164mP\nj+emm26iQ4cOnHvuuaR5K7uS07Ah/OpXlnGzcye8+aZl2rz3njX+bNAALrjAWghu2xa0tY4TUkQF\nbUChjBlj8dbSpEsX6wxcCI8++igrVqxg6dKlzJs3jwsuuIAVK1YcSSWcPHky9evXJy0tjR49enDp\npZcSGxub7xhr1qxh6tSpvPDCCwwbNow33niDa665pnTfR0WkRg2rMX/xxZZS+dlnlmL59tsm9iKW\nQz90qGXkdO3qaZZOhSZ0xT0E6NmzZ74c8aeeeoqZM2cCsGnTJtasWXOMuLdu3ZouXboA0L17d9av\nX19u9lYYoqJMwM86y8oSr1iRK/T33GP7REfbj3mvXtC7ty0nn+xdK5wKQ+iK+3E87PKiRo0aRx7P\nmzePDz/8kC+++IKYmBj69+9fYA551apVjzyuXLmyh2XKGhE4/XRb7r/fwjMLFuQuL79sJYrBwji9\neuUKfs+eUKdOsPY7ThkRuuIeALVq1SI1NbXAbXv37qVevXrExMTw7bffssBb0IUmjRtbqYOLLrLn\nGRmWhbNwYa7g/ze7YZgItGtnQp8j+B062J2B44Q5/i3OQ2xsLH369KFjx45Ur16dRo0aHdk2aNAg\nnnvuOeLj4znttNPo3bt3gJY6xSYqCjp3tmXkSFu3Zw8sWpQr+O+8Yx4+WGw/ISG/4DdpEpz9jlNC\nQqq2zOrVq4mPjw/EnkjFr2kxULWOUwsW5Ar+0qW5OfUtWuQKfa9e0K0bVK8erM1OhaW4tWXcc3cc\nETjlFFuuvtrWHTwIX3+dX/D//W/blnM3kDNQ26uXtR/0wVonhHBxd5yCqFYNzjjDlhy2bcsV+oUL\n4ZVXYOJE2xYbawO0OYLfs6fV03GcgHBxd5zi0rix5dEPHWrPMzPzD9YuXAizZ+fWwjn1VBP5Hj3s\nb5cunnvvlBsu7o5TUipXttIInTrBTTfZur17YfFiE/tFi+DDD62kMeSGc3LEvmdPy9apXDm49+BE\nLC7ujlOa1KljNXAGDrTnqrB5swn9l1/a3ylTrCImQM2a0L17fg+/RQuP3zsnjIu745QlIhAXZ8vF\nF9u6rCyrfpkj+F9+CU8+CYcP2/aGDfN79z16WEzfcX4CxSocJiKDROQ7EUkUkbsL2H6niKwSkeUi\n8pGItCx9U0OPmjVrArBlyxYuu+yyAvfp378/R6d8Hs2ECRM4cODAkedeQjjCqVTJwjHXXgv/+IfF\n6lNTTewnToTBg2HdOqtnf/75NrP2lFPgyivhiSesYmae74vjFESRnruIVAYmAucAScAiEXlHVVfl\n2e1rIEFVD4jIKOAxYHhZGByKNG3alBkzZpT49RMmTOCaa64hJiYGsBLCTgWjShWbPJWQJ3153z5r\nMp7j3X/+OUybZtsqV4aOHfN7+D671slDcTz3nkCiqq5V1cPANGBo3h1Uda6q5rgSC4C40jWzfLj7\n7ruZmJPaBowbN46HHnqIgQMH0q1bN04//XTefvvtY163fv16OnbsCEBaWhpXXHEF8fHxXHzxxflq\ny4waNYqEhAQ6dOjAn/70J8CKkW3ZsoUBAwYwYMAAILeEMMD48ePp2LEjHTt2ZEJ2vR0vLVxBqF0b\n+ve3LlUzZlj7wa1bbUbtvfda9s4bb9jM2y5dbP8zz4Q777QfgR9+8C5WFZji/Mw3AzbleZ4E9DrO\n/jcAswraICIjgZEALVq0OO5JA6j4y/DhwxkzZgy33XYbANOnT2fOnDmMHj2a2rVrs3PnTnr37s2Q\nIUMK7U/67LPPEhMTw+rVq1m+fDndunU7su0vf/kL9evXJzMzk4EDB7J8+XJGjx7N+PHjmTt3Lg0a\nNMh3rCVLlvDyyy+zcOFCVJVevXpx1llnUa9ePS8tXFFp3BguvNAWMPH+4Yf8A7bPPmvhG8jNv88p\nmNazJ9SvH5z9TrlRqvdwInINkACcVdB2VZ0ETAIrP1Ca5y4Nunbtyo4dO9iyZQvJycnUq1ePxo0b\nM3bsWObPn0+lSpXYvHkz27dvp3HjxgUeY/78+YwePRqATp060alTpyPbpk+fzqRJk8jIyGDr1q2s\nWrUq3/aj+fTTT7n44ouPVKe85JJL+OSTTxgyZIiXFnYMEZsd26aNxeTByiasXJlbP+fo/Pu2bXPF\nvlcvS8+sUiW49+CUCcUR981A8zzP47LX5UNEzgbuA85S1UMnalhQFX8vv/xyZsyYwbZt2xg+fDiv\nv/46ycnJLFmyhOjoaFq1alVgqd+iWLduHY8//jiLFi2iXr16jBgxokTHycFLCzuFklPLvkuX3Pz7\n1FTLv88R+48+ys2/r1rVmpvkFfzWrT0dM8wpTsx9EdBWRFqLSBXgCuCdvDuISFfgeWCIqu4ofTPL\nj+HDhzNt2jRmzJjB5Zdfzt69e2nYsCHR0dHMnTuXDRs2HPf1/fr1Y8qUKQCsWLGC5cuXA7Bv3z5q\n1KhBnTp12L59O7Nm5UauCis13LdvX9566y0OHDjAjz/+yMyZM+nbt28pvlunwlCrFgwYAHffDTNn\nWu79xo1WL+fXv7YfhBdegKuussychg2theGDD8KcObB7d9DvwPmJFOm5q2qGiNwOzAEqA5NVdaWI\nPAgsVtV3gL8BNYF/Z8eiN6rqkDK0u8zo0KEDqampNGvWjCZNmnD11Vdz4YUXcvrpp5OQkEC7du2O\n+/pRo0Zx/fXXEx8fT3x8PN27dwegc+fOdO3alXbt2tG8eXP69Olz5DUjR45k0KBBNG3alLlz5x5Z\n361bN0aMGEHPnj0BuPHGG+natauHYJwTRwSaN7clJ403I8O6WuV49wsXwqxZ+csp5PXuO3XycE4I\n4yV/Ixy/ps4JsW9f/tj9woWwfbttq1rVyh/nFfxWrTycU8Z4yV/HcU6c2rWPLaewaVN+sX/++dxB\nsoYN82fn9Ojh1TEDwsXdcZziI2K1b1q0gMsvt3Xp6ceGc959N/c17drBaadZ3L9mTfub93FB63Ie\n16jhdwIlJOTEXVULzSF3fhpBhdycCkZ0tGXbdO0Kt9xi6/buzR/OWb/eMnZSU2H/fihudpeICfxP\n+UE43vbq1c3eCqAxISXu1apVIyUlhdjYWBf4E0RVSUlJoZrXD3eCoE4dOPtsWwoiI8NEfv/+/KJ/\nvMd5123dasXXctbv319820RsvKBatdL7+1NfExNT5qUiQkrc4+LiSEpKIjk5OWhTIoJq1aoRFxeW\nlSCcSCcqymLxpRWPz8qCH38s+gciLQ0OHbI2igcP5j4++u+PP0JKSuHbMzJOzN5nnoFRo0rnvRdC\nSIl7dHQ0rVu3DtoMx3HCjUqVckMvTZqU/fkyM03oCxP/on5AfvazMjcxpMTdcRwnLKhc2UIr2ZVc\nQ5Fi1XN3HMdxwgsXd8dxnAgksBmqIpIMHL9QS+E0AHaWojnhjl+P/Pj1yMWvRX4i4Xq0VNWTitop\nMHE/EURkcXGm31YU/Hrkx69HLn4t8lORroeHZRzHcSIQF3fHcZwIJFzFfVLQBoQYfj3y49cjF78W\n+akw1yMsY+6O4zjO8QlXz92pwIjIPBHZLSJVi97bcSomLu5OWCEirYC+gALl1u1LRHw2txNWhJ24\ni8ggEflORBJF5O6g7QkKEWkuInNFZJWIrBSRO4K2qZz4JbAAeAW4LmeliFQXkb+LyAYRyRSRXSJS\nPXvbmSLyuYjsEZFNIjIie/08EbkxzzFGiMineZ6riNwmImuANdnrnsw+xj4RWSIiffPsX1lE7hWR\nH0QkNXt7cxGZKCJ/z/smROQdERlbFhcozznqisgMEflWRFaLyBlleb5QRkTGZv+frBCRqSIS+eVS\nVTVsFqxVzfiNAAAgAElEQVSH6w/AyUAVYBnQPmi7AroWTYBu2Y9rAd9XhGsBJAK3At2BdKBR9vqJ\nwDxgHDAV+AyoCrQEUoErgWggFuiS/Zp5wI15jj0C+DTPcwU+AOoD1bPXXZN9jCjgN8A2oFr2tt8C\n3wCnAQJ0zt63J7AFqJS9XwPgQI7tZXitXs15f9n/L3WD/vwC+s40A9bl+QynAyOCtqusl3Dz3HsC\niaq6VlUPA9OAoQHbFAiqulVVv8p+nAqsxr7EEYuInImJ9XRVXYL90F8lIpWAXwF/wUI2LwC7VfUQ\ncBXwoapOVdV0VU1R1aU/4bSPqOouVU0DUNV/Zh8jQ1X/jv2AnJa9743AH1T1OzWWZe/7JbAXyO5V\nxxXAPFXdfiLX43iISB2gH/BStt2HVXVPWZ0vDIgCqmeH12KwH9uIJtzEvRmwKc/zJCJc0IpDdhy6\nK7AwWEvKnOuA91U1Z/r4lOx1DYBqmEf/OyArz2uaYz8CJSXv9w0RuSs7xLFXRPYAdbLPX9S5XsW8\nfrL//t8J2FQcWgPJwMsi8rWIvCgiNcr4nCGJqm4GHgc2AluBvar6frBWlT3hJu7OUYhITeANYIyq\n7gvanrIiO34+DDhLRLaJyDZgLBb6aAIcBg5ne/R52QScUshhf8S8uBwaF7DPkVzh7Pj677LtqKeq\ndTGPPKdt2PHO9U9gqIh0BuKBtwrZr7SIAroBz6pqV+y9VsgxKhGph93htwaaAjVE5Jrjvyr8CTdx\n34x5RznEZa+rkIhINCbsr6vqm0HbU8ZcBGQC7YEu2Us88Ak2yLoCE89NWLjubBGZArye/XiYiESJ\nSKyIdMk+5lLgEhGJEZE2wA1F2FALyMA84igR+SNQO8/2F4E/i0hbMTqJSCyAqiYBizCP/Y2cME8Z\nkgQkqWrO3dwMTOwrImcD61Q1WVXTgTeBsu+WETDhJu6LgLYi0lpEqmCxy3cCtikQxJrMvgSsVtXx\nQdtTDlwHvKyqG1V1W84CPA1cDfQHnsO+0zUxT/UGVd0IDMYGP3dhgt45+5hPYB7/dixs8noRNswB\nZmOD1xuAg+QP24zHBuveB/Zhn0/1PNtfBU6n7EMyZF+bTSKSMx4wEFhV1ucNUTYCvbN/xAW7FqsD\ntqnMCbsZqiIyGJiAZc5MVtW/BGxSIGQPLn6CZWfkxJjvVdX3grMqNBCR/sBdqvqLoG3Ji4j0w8Iz\nLbUc/vGy71BexDJl1gLXq+rusj5vKCIiDwDDsTuvr7EsokPBWlW2hJ24O044kh1CmwYsU9UHg7bH\niXzCLSzjOGGHiMQDe7CB3wkBm+NUENxzdxzHiUDcc3ccx4lAAiuG1KBBA23VqlVQp3ccxwlLlixZ\nslOL0UM1MHFv1aoVixcvDur0juM4YYmIbCjOfh6WcRzHiUC8RrXjOJGFKqSlwf79kJpqf3OWzEyo\nXLngJSqq8G1FLTmvrVQJRIq2sRxwcXccJzhU4dCh/AKcV5BL+jjILMBKlYr+MXj0Ubj22jI1I6TE\nPT09naSkJA4ePBi0KRFBtWrViIuLIzo6OmhTnIpCRgZs3gwbNsD69fZ3wwZITi5ckDMyindsEahZ\nE2rVsr85j5s0yf+8sMc1apiwZmYWvmRkHH97ab22efOi3+8JElLinpSURK1atWjVqhUSIrc24Yqq\nkpKSQlJSEq1btw7aHCdSOHQINm3KL955RTwpycQrL40bQ6NGJrCxsdCy5fFFuLDH1auHTMgjHAgp\ncT948KALeykhIsTGxpKcnBy0KU44ceDAsYKd9/HWrflDHpUqQbNmJth9+9rfli2hVSv726IFVIv8\njnahSEiJO+DCXor4tXSOYe/e44v30c5AVJQJdMuWcN55x4p3XBx42C8kCTlxdxznBDh82MQ6MRHW\nrIG1a/OL956jOu1Vq5Yr2N26HSveTZpYnNoJO1zc87Bnzx6mTJnCrbfe+pNeN3jwYKZMmULdunXL\nyDLHycOhQ7BunQl4jojnPF6/HrLydBmsWTNXqM8881jxbtjQ49gRiot7Hvbs2cMzzzxzjLhnZGQQ\nFVX4pXrvvQpfQt0pbQ4eNK+7IAHfuDG/gNepA23bQs+ecNVV9rhNG1tOOsnFu4ISuuI+Zgws/SlN\n6otBly4wofCKq3fffTc//PADXbp0ITo6mmrVqlGvXj2+/fZbvv/+ey666CI2bdrEwYMHueOOOxg5\nciSQW0ph//79nH/++Zx55pl8/vnnNGvWjLfffpvq1asXek6nApOWZgKeV7hzHm/alH/gsm5dE+2f\n/Qx++UsT7hwRj411AXeOIXTFPQAeffRRVqxYwdKlS5k3bx4XXHABK1asOJJKOHnyZOrXr09aWho9\nevTg0ksvJTY2Nt8x1qxZw9SpU3nhhRcYNmwYb7zxBtdcE/G9eJ3COHAAfvjhWO97zRpLG8xLbKyJ\ndd+++b3vtm2hfv1g7HfCltAV9+N42OVFz5498+WIP/XUU8ycOROATZs2sWbNmmPEvXXr1nTpYv2X\nu3fvzvr168vNXicgVC1FcNUqW1avtiUx0Sb05KVBAxPrAQPye99t2kC9esHY70QkoSvuIUCNGjWO\nPJ43bx4ffvghX3zxBTExMfTv37/AmbRVq1Y98rhy5cqkpZV1k3un3MjKsnBJjoDniPmqVZZimEPd\nuhAfD2efnd/7PuUU2+Y45YCLex5q1apFampqgdv27t1LvXr1iImJ4dtvv2XBggXlbJ1TbmRmWjbK\n0QK+ejX8+GPufg0bQvv2NojZvn3u0qiRx8CdwHFxz0NsbCx9+vShY8eOVK9enUaNGh3ZNmjQIJ57\n7jni4+M57bTT6N27d4CWOqVCerrFw/MK+KpV8O23lm6YQ7NmJto33JAr4PHxFmJxnBAlsB6qCQkJ\nenSzjtWrVxMfHx+IPZGKX1NMqL///lgRX7PGBD6HVq1MtPN64fHxlmroOCGCiCxR1YSi9nPP3Ykc\nMjPhm29gxYr8cfHExNy88EqVLPYdHw9DhuSKeLt2VjXQcSIEF3cnvNm6Fd5/H2bPhg8+gJQUWx8V\nBaeeCqefDsOH54r4qad6ISunQuDi7oQXhw7BZ5/BnDkm6MuX2/pGjeCCC+Dcc61GSps2XtDKqdC4\nuDuhT2KiCfmcOTB3rmWsREdDnz7W0ea886BTJwu5OI4DuLg7oUhqqol4jne+dq2tP/lkuO46E/MB\nA6yBg+M4BeLi7gSPKixbluudf/aZZbHUqGEifuedJuht2gRtqeOEDX4fewLUrFkTgC1btnDZZZcV\nuE///v05OuXzaCZMmMCBAweOPB88eDB7jq67HWkkJ8OUKeaJN2kCXbvCPffA7t0wdix89JENjv7n\nP3DbbS7sjvMTcc+9FGjatCkzZswo8esnTJjANddcQ0xMDBChJYQzMmDBglzvfMkS89hjY+Gcc2DQ\nIBsMbdIkaEsdJyIIWXEPoOIvd999N82bN+e2224DYNy4cURFRTF37lx2795Neno6Dz30EEOHDs33\nuvXr1/OLX/yCFStWkJaWxvXXX8+yZcto165dvtoyo0aNYtGiRaSlpXHZZZfxwAMP8NRTT7FlyxYG\nDBhAgwYNmDt37pESwg0aNGD8+PFMnjwZgBtvvJExY8awfv368CgtvGGDCfmcOfDhh7Bvnw16nnEG\nPPCAhVq6d/dOP45TBoSsuAfB8OHDGTNmzBFxnz59OnPmzGH06NHUrl2bnTt30rt3b4YMGVJof9Jn\nn32WmJgYVq9ezfLly+nWrduRbX/5y1+oX78+mZmZDBw4kOXLlzN69GjGjx/P3LlzaXDUdPYlS5bw\n8ssvs3DhQlSVXr16cdZZZ1GvXr3QLC184ADMn5/rnX/7ra1v3hyGDTPvfOBAL57lVGh27bJcgLLO\n1A1ZcQ+i4m/Xrl3ZsWMHW7ZsITk5mXr16tG4cWPGjh3L/PnzqVSpEps3b2b79u00bty4wGPMnz+f\n0aNHA9CpUyc6dep0ZNv06dOZNGkSGRkZbN26lVWrVuXbfjSffvopF1988ZHqlJdccgmffPIJQ4YM\nCZ3SwqrmlT/5pP09dMgmCZ11FowcaYLerp0X0nIqPDt2wPjxMHEiPP20DTeVJSEr7kFx+eWXM2PG\nDLZt28bw4cN5/fXXSU5OZsmSJURHR9OqVasCS/0Wxbp163j88cdZtGgR9erVY8SIESU6Tg6BlxZO\nT4d//Qsef9wyXRo3hlGjTMz79YNQCxFVQA4ftvHpPPXvnADYssX+TZ57zronDh8OPXqU/Xk9W+Yo\nhg8fzrRp05gxYwaXX345e/fupWHDhkRHRzN37lw2bNhw3Nf369ePKVOmALBixQqWZ8+g3LdvHzVq\n1KBOnTps376dWbNmHXlNYaWG+/bty1tvvcWBAwf48ccfmTlzJn379i3Fd1sCUlPN/TjlFLj2WlOQ\nl16yxsxPPGFxdBf2QMnKgv/7P6u00LgxdOgAv/2tTR04fDho6yoOGzZYotfJJ8NTT1lkcvVqmDrV\nKmGUNe65H0WHDh1ITU2lWbNmNGnShKuvvpoLL7yQ008/nYSEBNq1a3fc148aNYrrr7+e+Ph44uPj\n6d69OwCdO3ema9eutGvXjubNm9OnT58jrxk5ciSDBg2iadOmzJ0798j6bt26MWLECHr27AnYgGrX\nrl2DCcFs2WLf0Oees8YU/frBM8/A4ME+MzREULWhjrvvtpupbt0sMjZvnn10jz9usd6zz7aP7fzz\nrZqxU7r88AM88gi8+qpFI0eMsM/k5JPL2RBVDWTp3r27Hs2qVauOWeecGCd8TVeuVL3+etXoaNVK\nlVQvu0x14cLSMc4pNRYtUh0wQBVUW7dWnTJFNTMzd3tqqurbb6vefLNq8+a2H6h27qx6zz2qn3yi\nmp4enP2RwOrVqtdeq1q5smrVqqq33666YUPpnwdYrMXQWBf3CKdE1zQrS3XePNULLrCvSPXqqrfe\nqpqYWPoGOifEmjWqw4bZx9SggepTT6keOnT812Rlqa5YofrYY6r9+6tGRdnr69a1Y73yiuq2beVj\nfySwbJldNxHVmBjV3/xGdcuWsjufi7ujqj/xmqanq06frtqjR65ajBunmpxcdgY6JWL7dvMMo6JM\nUO6/X3Xv3pIda88e1RkzVH/1K9UmTXK9+oQE1T/+UXXBAtWMjNK1PxJYtEh16FC7VrVq2R3Qjh1l\nf96wFfesrKzSvA4VmqysrOKJ+48/qj79tN3Pg2qbNqrPPmvrnZAiNVX1gQdUa9a02/9bbildLzEr\nS/Xrr1X/8hfVPn0sEgeqsbGqV1+t+vrrqjt3lt75wpHPPlMdNCj3bmfcONWUlPI7f6mKOzAI+A5I\nBO4uYHsLYC7wNbAcGFzUMQsS97Vr12pycrILfCmQlZWlycnJunbt2sJ32rHDXLPYWPsq9O6t+sYb\n7qaFIIcPqz7zjGqjRvZRXXqp6rfflv15U1JUp061WHKDBnbuSpVUzzhD9c9/Vl2yJH9sP1LJylL9\n+OPccY0GDVQfeaTkd0snQnHFvcgeqiJSGfgeOAdIAhYBV6rqqjz7TAK+VtVnRaQ98J6qtjrecQvq\noZqenk5SUtIJ5X87uVSrVo24uDiij54Kt2aNpTO+8ool3g4ZYrlyffr4ZKMQQxXeeAPuvdc+tr59\n4bHHIIj+7FlZsHgxzJoF770HixaZfY0b2/SGwYOtTFAkTUDW7Aykhx6yYqWNG9u/ys03B9eVsbg9\nVIvjtZ8BzMnz/B7gnqP2eR74fZ79Py/quAV57k4Z8/nnqhdfbCM/Vaqo3nijDfE7Icncuao9e5qn\n2KGD6n/+Yx5kqLB9u+prr6lecYVqvXpmZ+XKqv36qT76qOry5aFl708hK8uyi3KGn5o3t8hlWlrQ\nlpViWAa4DHgxz/NrgaeP2qcJ8A3m2e8GuhdyrJHAYmBxixYtyulSVHAyM1XfessCqDlBwnvvVd26\nNWjLnEJYvlx18GD7uOLiVCdPDv1IWXq6xaLvu0+1a1c9MigbF6d6002q//d/NjBbnrHpkpCZaTkF\nnTrpkbTSSZOKzkAqT8pb3O8EfqO5nvsqoNLxjuueexmTlmbfytNOs4+5ZUvVCRNsRM4JSTZsUL3u\nOruxqlNH9a9/VT1wIGirSsbmzaovvWRjA7Vq5Yo9qNavr9qrlw3Qjhtng7Rffqm6e3dw9qan2w9Q\nfLzZeNppqq++Gpq5/8UV9+LMUN0MNM/zPC57XV5uwAZdUdUvRKQa0ADYUYzjO6XJrl3w7LPwj3/A\n9u3WBGPKFLj8cojyCcmhyK5dNqPxH/+w57/5jfUtqV8/WLtOhKZN4Ve/siU93drgrlljS87jTz6x\nr2beYb8GDaBt22OXNm2gdu3St/PwYSvV8MgjNrO0Y0eYNg0uuyz8K1EX5799EdBWRFpjon4FcNVR\n+2wEBgKviEg8UA1ILk1DnSLIqe3y0kvWQPq882zk5+c/90HSECUtzQT9kUesosMvf2ll7lu2DNqy\n0iU6GuLjbTmatDRrkZsj/DnLRx/Ba6/l37dhw8KFP7spWrE5eBBeftn6q2/caKUa3nwThg6NnGoa\nRYq7qmaIyO3AHKAyMFlVV4rIg9jtwTvAb4AXRGQsoMCI7NsHp6xZuhT++lf4979NxK+6yly/45QS\ndoIlM9OE649/hKQkyzJ55JGK+ZFVr26FzTp0OHbbgQP5Pf4cr3/OHEv0ykuTJscKfs7f7AZnR445\naRL87W9WLql3b7vRPf/8yPOBikyFLCsKSoV0fgIrV8Kf/mR5crVqWW7WHXdAXFzQljmFoAr//a8V\nkVq50sq+PvYY9O8ftGXhx/79xwp/zrLjqGBws2Ym9C1bWgpncrK1G7j//vC8sS1uKqQHYcONxEQY\nN86ClTVrmvs3dmxkJRcXgqqFL5KScpfNm/M/3r4d6tSxGuZHL40b53+e16MraxYsgN//3hpVtWkD\n06dbXDfchCVUqFnT2mZm96vJx969BQv/rFk2BPWHP9h8gUjHxT1c2LgR/vxnCxRWqWLx9N/+1kag\nIoCsLPOojhbso58fOHDsaxs1shuWk0+22+x9+0zkV66Ejz+2hhUFUbNmwT8CBf0o/NSYbg7ffQf3\n3Wc3WA0bWheem24q+xZrFZk6daw1b3a17QqLi3uos20bPPwwPP+8Pb/1VkulaNIkWLt+AunpsHXr\n8UV7yxbbLy9RUZZ1ERcHnTvDBRfY42bN7G9cnF2GKlWOf/7Dh+1Wffv2wpfvvzevOiWl4GPExBTv\nh6BRI8vq2LYNHnwQXnjBug6OG2dDISX9kXCcn4qLe6iSkmIB2X/8w9Tp+ustSNiiRdCWHUNGhk1L\nT0wsWMC3bcuf7gY2kJYj1H37HivacXHm6ZZG5kKVKrnHLIr0dLuDON4Pwdq18PnnsHPnse8LTMyz\nsmy55Rb72LzVnVPeuLiHGnv3Wt2XJ56wUaOrr7aB0zZtgrYsHzt2wOzZNkA1Zw7s2ZO7rW7dXKHu\n3Dm/aOc8rlcvNOPN0dF2t9C0adH7ZmSYwBf0A5CZaS1l27Yte5sdpyBc3EOFH380L/2xxyxIfOml\nlvRcUI5YAGRmHls0CswjvfhiSyXr1MnEu6KEHqKiLB7fuHHQljjOsbi4B83BgxZPf/hhc4cHD7aB\n027dgraMlBR4/30T89mzzUsVsUHLP//ZTO3SJXImfThOJOHiHhTp6TB5sqnk5s0wYADMnAk/+1lg\nJmVl2ZyoHO98wQJb16CBlXQ9/3w499yISdBxnIjGxb28ycyE11+3kMvatXDGGTZd8ec/D8ScvXvh\ngw9MzGfNssFPgIQEywcePNgeh3udDcepaLi4lxdZWZbs/Mc/wrff2myK//633Oc9q1r+93vv2fLZ\nZzYwWLeulaMZPNj+enaH44Q3Lu5ljSq8+67lwy1bBu3bw4wZNgpZTsHq/futEFOOoCcl2frOnW0e\n1ODBFkf3opGOEzn4v3NZoWqK+oc/wMKFcMopVlv0yivLPMahapNycsR8/nxLla9Vy9qgjRtnMfRm\nzcrUDMdxAsTFvQSoWiW5d96xyTh5l5gYqL5zI9Xnzab6upXE1DuL6jc8SvVzzqR6rSiqz8/e5+jX\nVLfJLyWN0Bw4APPm5Q6Grl1r69u3h9GjzTvv06fo2ZyO40QGXhXyJ5KebhUAXnwR2rUzsTxwwOpS\np+3PIC01g7SsaiU+frVqx4p/3h+Agn4QvvkG5s61rMqYGBg40MT8/PMjrza441R0vCpkGbB7t1Xy\n+/hjKwb14IPZYfMVK2ygdOZMqF8f/d3vOXjj7aRJjIl+Wp4fgBN4npxc8PaWLa3i7+DB0K+fCb7j\nOBUbF/dikpgIv/iFhTtefdW65rBmjZUGmDbNAtoPPABjxiC1a1MdqB600Y7jVFhc3IvB/PmW3CJi\nY6R9z1T4w/3Wo6tqVSvUfdddEBsbtKmO4ziAi3uRvPYa3Hij1Qp/911o0zoTbrrZepVed521uPOk\ncMdxQgyvClIIWVkWV7/uOitJ+8UX0Kb5IRg+3IT9/vutcYYLu+M4IYh77gVw4ICJ+owZ1jVn4kSI\nPrQffnExfPihleMdMyZoMx3HcQrFxf0otm2DIUOsvO3jj8Odd4Ls3mWpKIsXW9v1664L2kzHcZzj\n4uKeh+XLLSMmJcWyGocOxfq/nXuupcu88Ub2SsdxnNDGxT2b//4XrrjCmut++qnV9SIx0ebr79xp\nUz8HDAjaTMdxnGJR4QdUVeHJJy0Uc+qpVgama1fMjT/zTEhNtemfLuyO44QRFVrc09PhtttsbHTI\nEMtnb9YM63581lnWUPOTT6ygueM4ThhRYcV9zx644AIrAPa731k4vUYNrJ/c2WfDSSdZfCY+PmhT\nHcdxfjIVMua+dq0NnK5ZYwXAbrghe8O//gXXXmtNqefMgYYNA7XTcRynpFQ4cf/sM7joIut29/77\neULpzz8Po0ZZnP0//7GRVcdxnDClQoVlXn/dWpXWrWvNnwcMwEZUH3kEbrnF4jRz5riwO44T9lQI\ncVe14o3XXGPt5BYssMwYVK3P3L33wtVXw5tvWpF0x3GcMCfiwzIHD8L111tV3hEjLPpSpQrWFfrm\nm2HyZLj9dsuHLKeepo7jOGVNRKvZ9u0Wepk2zSIvkydnC/uh7AJgkydbk42nnnJhdxwnoohYz33F\nCsuI2bHDCoBdemn2htRUK87+0UcwYQLccUegdjqO45QFESnus2fDsGGWt/6//0GPHtkbUlKsANiS\nJXnaKTmO40QeEReLmDjRkl5OPhm+/DKPsG/ebA1Gly2zgVMXdsdxIpiIEfeMDBg92sZGBw+2qgHN\nm2dvTEyEPn1g0yZz64cMCdRWx3GcsiYiwjL79llFx1mzYOxY+NvfoHLl7I3LlsF559mspblzoXv3\nQG11HMcpD8Je3DdssIHT1autTswtt+TZ+NlnFqOpVQvmzYN27YIy03Ecp1wpVlhGRAaJyHcikigi\ndxeyzzARWSUiK0VkSumaWTALF0KvXhZtmTXrKGGfNctqsTdqZCLvwu44TgWiSHEXkcrAROB8oD1w\npYi0P2qftsA9QB9V7QCUeYPR6dOhf3+IibEKveeck2fj1KkWV4+Pt+B7ixZlbY7jOE5IURzPvSeQ\nqKprVfUwMA04utfcTcBEVd0NoKo7StfMXFThoYdsDlL37ua9t8/7U/Pss1ZKoE8fi7F7ZUfHcSog\nxRH3ZsCmPM+Tstfl5VTgVBH5TEQWiMiggg4kIiNFZLGILE5OTi6RwQ89BPffb3ViPvzQyq4DpvoP\nPwy33mpB+FmzoHbtEp3DcRwn3CmtAdUooC3QH4gD5ovI6aq6J+9OqjoJmASQkJCgJTnRr35lk5PG\njgWRIweGu+6C8eNN9SdPti5KjuM4FZTieO6bgeZ5nsdlr8tLEvCOqqar6jrge0zsS51mzeDOO/MI\ne0aGddsYPx5+/WubeerC7jhOBac44r4IaCsirUWkCnAF8M5R+7yFee2ISAMsTLO2FO0smIMH4fLL\n4eWXYdw4r+zoOI6TTZFhGVXNEJHbgTlAZWCyqq4UkQeBxar6Tva2c0VkFZAJ/FZVU8rScFJTraXS\nxx9bVcdf/7pMT+c4jhNOiGqJQt8nTEJCgi5evLhkL05JgfPPh6++gldesTi74zhOBUBElqhqQlH7\nhd8M1aQkOPdcWLcOZs6ECy8M2iLHcZyQI/zE/dVXTeBnz4azzgraGsdxnJAk/EYf77kHli51YXcc\nxzkO4SfulSpZsXbHcRynUMJP3B3HcZwicXF3HMeJQAJLhRSRZGBDCV/eANhZiuaEO3498uPXIxe/\nFvmJhOvRUlVPKmqnwMT9RBCRxcXJ86wo+PXIj1+PXPxa5KciXQ8PyziO40QgLu6O4zgRSLiK+6Sg\nDQgx/Hrkx69HLn4t8lNhrkdYxtwdx3Gc4xOunrvjOI5zHFzcHcdxIpCwE3cRGSQi34lIoojcHbQ9\nQSEizUVkroisEpGVInJH0DaFAiJSWUS+FpF3g7YlaESkrojMEJFvRWS1iJwRtE1BISJjs/9PVojI\nVBGpFrRNZU1YibuIVAYmAucD7YErRaR9sFYFRgbwG1VtD/QGbqvA1yIvdwCrgzYiRHgSmK2q7YDO\nVNDrIiLNgNFAgqp2xJoOXRGsVWVPWIk70BNIVNW1qnoYmAYMDdimQFDVrar6VfbjVOwft1mwVgWL\niMQBFwAvBm1L0IhIHaAf8BKAqh4+umF9BSMKqC4iUUAMsCVge8qccBP3ZsCmPM+TqOCCBiAirYCu\nwMJgLQmcCcDvgKygDQkBWgPJwMvZYaoXRaRG0EYFgapuBh4HNgJbgb2q+n6wVpU94SbuzlGISE3g\nDWCMqu4L2p6gEJFfADtUdUnQtoQIUUA34FlV7Qr8CFTIMSoRqYfd4bcGmgI1RCTie3OGm7hvBprn\neR6Xva5CIiLRmLC/rqpvBm1PwPQBhojIeixc93MR+WewJgVKEpCkqjl3czMwsa+InA2sU9VkVU0H\n3qg0YI0AAADZSURBVAR+FrBNZU64ifsioK2ItBaRKtigyDsB2xQIIiJYPHW1qo4P2p6gUdV7VDVO\nVVth34uPVTXivbPCUNVtwCYROS171UBgVYAmBclGoLeIxGT/3wykAgwuh1UPVVXNEJHbgTnYiPdk\nVV0ZsFlB0Qe4FvhGRJZmr7tXVd8L0CYntPg18Hq2I7QWuD5gewJBVReKyAzgKyzL7GsqQBkCLz/g\nOI4TgYRbWMZxHMcpBi7ujuM4EYiLu+M4TgTi4u44jhOBuLg7juNEIC7ujuM4EYiLu+M4TgTy/6xV\nbxK0DnEOAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1acaf7cd0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplot(211)\n",
    "plt.title(\"Loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.subplot(212)\n",
    "plt.title(\"Accuracy\")\n",
    "plt.plot(history.history[\"acc\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_acc\"], color=\"b\", label=\"validation\")\n",
    "plt.legend(loc=\"best\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== Evaluating model: resnet50-l2-final.h5 ===\n",
      "\n",
      "Accuracy: 0.816\n",
      "\n",
      "Confusion Matrix\n",
      "[[366  58]\n",
      " [ 89 287]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.80      0.86      0.83       424\n",
      "          1       0.83      0.76      0.80       376\n",
      "\n",
      "avg / total       0.82      0.82      0.82       800\n",
      "\n",
      "=== Evaluating model: resnet50-l2-best.h5 ===\n",
      "\n",
      "Accuracy: 0.804\n",
      "\n",
      "Confusion Matrix\n",
      "[[353  72]\n",
      " [ 85 290]]\n",
      "\n",
      "Classification Report\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.81      0.83      0.82       425\n",
      "          1       0.80      0.77      0.79       375\n",
      "\n",
      "avg / total       0.80      0.80      0.80       800\n",
      "\n"
     ]
    }
   ],
   "source": [
    "final_model_name = get_model_file(DATA_DIR, \"resnet50\", \"l2\", \"final\")\n",
    "model.save(final_model_name)\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "final_accuracy = evaluate_model(final_model_name, test_gen)\n",
    "\n",
    "test_gen = data_generator(test_triples, VECTOR_SIZE, vec_dict, BATCH_SIZE)\n",
    "best_accuracy = evaluate_model(best_model_name, test_gen)\n",
    "\n",
    "scores[1, 3] = best_accuracy if best_accuracy > final_accuracy else final_accuracy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[ 0.90375,  0.9575 ,  0.8925 ,  0.79625],\n",
       "       [ 0.91625,  0.8975 ,  0.915  ,  0.81625]])"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "scores"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.text.Text at 0x7fe1aa6d1050>"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYUAAAEmCAYAAACNq4wIAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xm8VWXZ//HPl8OkgmiCigJiigqoYaCIOJCZA+UU5EAO\n5ID2U9OM0tJHSUvNtNIc0p4cwFQ0HHiMUkrFREVAcUBFUUFwYnAERQOu3x/3OsvN4QwbOPtszvH7\nfr326+w17LWufe919rXu+17r3ooIzMzMAJqVOwAzM1t7OCmYmVnOScHMzHJOCmZmlnNSMDOznJOC\nmZnlnBQaIUkjJN1S7jjWlKSukkJS83ra3ixJ+9THtqrZ9h6SZhRMbytpmqSPJf1I0p8k/U8p9r06\nJP1D0rG1LL9J0q8aMiZrHJwUipB92cyTtF7BvBMkPVzGsKolaUD2RXtNlfmPShpa5DZC0tYlCXAN\nSFpf0h8kvSFpkaRXs+n2pd53RPwnIrYtmPUz4KGIaBsRV0bEyRFxYanjKFZEHBARNwNIGirp0dXd\nVn0n71KQdET2f6oq85tn/7vfWYNtr1H5NTZOCsWrAE4v9U7q6R9vMXC0pK71sK2SWNX3Kakl8G+g\nJ7A/sD7QD1gI7FLvAdZtC2D6mm5kbf6ibWTuATYA9qoyf38ggH82eESZxvYZOykU77fAcEkbVLdQ\n0naSxkt6T9IMSYcVLHtY0gkF0yuceWRnYadIegV4JZt3haQ5kj6SNFXSHqsQ6wfATcD5Na0g6ThJ\nL0p6X9L9krbI5j+SrfJMdjZ+uKQJkgZly/tn8X47m/6mpGnZ82aSzpU0Ozs7GympXbas8mzzeElv\nAA9WE9Og7Gxv+2pCPgboAhwaES9ExPKImBcRF0bEuGq2tYukxyV9IOltSVdliQUlv89i/EjSc5X7\nlDRQ0gtZs9CbkoZn8wdImps9fxD4BnBVVkbbVG2OkfSdrHnpA0mPSdqxYNksSWdJehZYnJ3NnpXt\n7+Ps+PlmNe9py2x7zbLpP0uaV7B8lKQzsucPK9VmuwN/AvplsX5QsMkNJf092+ckSVtVU+4ryd7r\nNUpNVIskTZS0qVKt7X1JL0naqWD9s5VqdR9nZXtowbIKSZdLWiDpdUmnqqBWIqmdpL9kn+Gbkn4l\nqaJqTBGxBLiDdJwUOga4NSKWFvG5dJZ0l6T5khZmx0y15ZfFNTJbd3Z23Fd+LkOzMvm9pIXACElb\nK/0ffZi919HFlHVZRIQfdTyAWcA+wF3Ar7J5JwAPZ8/XA+YAPwCaAzsBC4Ae2fKHgRMKtjcUeLRg\nOoDxwFeAdbJ5RwEbZdv7CfAO0DpbNgK4pYZYBwBzgU2Bj4Bts/mPAkOz5wcDM4Hu2fbPBR6rEs/W\nBdMXAH/Mnv8CeBX4TcGyK7Lnx2Xb/SrQJiuvUdmyrtl2R2bltU7BvOZZ2c0s3G+V93U7cHMxn1P2\nvDewa7btrsCLwBnZsv2AqaQzS2Xl0DFb9jawR/Z8Q+DrheVasK+qn+lNBcfGTsA8oC+phnlsFlur\ngjinAZ2zctiWdPxsVlBWW9XwHt8AemfPZwCvAd0Llu1UNT6qHG8F8VbWspoDfwVur2Gf+edU8NoF\nWRm3JiX410lfwBXAr0hNa5Wv/x6wGekk9HBSTbayvE8GXgA6ZeX9ryr7uhu4jnTMbAw8CZxUQ5z9\nScd85f9QO+BToFddn0s2/Qzw+2xfrYHdaym/kcC9QNusfF4Gji9YfylwWla26wC3AedkZZBve218\nuKawas4DTpPUocr87wCzIuLGiFgaEU8DY0j/DMW6OCLei4hPASLilohYmG3vctKBu23tm/hCRLxD\nOsO5oJrFJ2f7ezHSGdRFQC9ltYVqTOCLavmewMUF03tlywG+D/wuIl6LiEXAz4EjtGL1eURELK58\nn5kzgJ8CAyJiZg0xbET6wi5KREyNiCey8ptF+mKpjPm/pH/m7QBl5fB2wbIektaPiPcj4qli91lg\nGHBdREyKiGWR2vY/IyWpSldGxJysHJaRPt8eklpExKyIeLWGbU8A9pK0aTb9t2x6S1KT2jOrEOfd\nEfFkdgz8Fei1iq+dGukM/W5gSUSMjIhlwGjSFzAAEXFnRLwVqXY3mlQbrmzyO4x0UjE3It4HLql8\nnaRNgIGkZL44IuaRvrSPqC6giJgIvAtU1kQOA16OiGnZdG2fyy6kxPXTbF9LIqLafoSspnIE8POI\n+Dg7vi4Hji5Y7a2I+GN2/H1KOq62ICX+Gre9NnBSWAUR8TxwH3B2lUVbAH2zKukHWRXz+6Sz9WLN\nKZyQNFypeefDbHvtgFXtUP0NsJ+kr1UT7xUFsb5HOmPevIbtPA5sk/2T9iKdJXVW6uDdBahsctoM\nmF3wutmkM6VNanqfmZ8CV0fE3Frey0KgYy3LV5A16dwn6R1JH5ESX3uAiHgQuAq4Gpgn6XpJ62cv\nHUT6IpqdVff7FbvPAlsAP6lyPHQmlU+lvByyRHgGqQY4T9LtkgrXLTSBVGvZk1TuD5OS3V7AfyJi\n+SrE+U7B809ItbtivVvw/NNqpvNtSTqmoMnmA2B7vjiWN2PFY6Lw+RZAC+DtgtdeR6ox1GQkXzQh\nHZ1NF26vps+lMzA7S5B1aZ/FVfVYL/z/qXqc/4z0P/akpOmSjitiP2XhpLDqzgdOZOUDYEJEbFDw\naBMRP8yWLwbWLVi/umSRD1er1H/wM9KZzoYRsQHwIemgKlpELAT+AFS9KmYOqQpeGO86EfFYDdv5\nhNTccjrwfER8DjwGnAm8GhELslXfIv3jVepCqkYXfmFUNyzvvsC5yvotavAvUoJbr5Z1Cl0LvAR0\ni4j1Sc1eeflFumKoN9AD2IaUmIiIyRFxMOmL5x5SO/WqmgP8ukr5rhsRtxWss0I5RMStEbE7qfyC\nlNCrMwHYg5QYJpCaBfuzYo2tqrINhZzVPv8MnApslB3Lz/PFZ/E2qemoUueC53NIZ/LtC8px/Yjo\nWcsuRwHfzJL5rqQaUOH2avpc5gBdVH2ncNXyW8AXZ/6VugBv1vSaiHgnIk6MiM2Ak4BrtBZe4QdO\nCqssO6sbDfyoYPZ9pDPpoyW1yB47Z51UkNqPvytp3exAOL6O3bQlfZnOB5pLOo/UNLA6fgfsRmo3\nr/Qn4OeSekLeaVbY1PUuqV+g0ATSP3blF8/DVaYhtZv+WKlDtA3p7Hx0EWdf00lXiVwt6aAa1hlF\n+scdo9Sp30zSRpJ+IWlgNeu3JbUvL5K0HVCZoMk+m76SWpAS9hJguaSWkr4vqV1E/Dd7/aqceVf6\nM3Bytg9JWk/StyW1rW5lpXse9pbUKovl05r2GxGvZMuPIp2IfET6vAZRc1J4F+ikrKO9ga1H+oKc\nDyDpB6SaQqU7gNMlba50EcdZlQuyJr0HgMuVLkduJmkrSVWvMKLgNbNIifI2YHzWjFqpts/lSVKC\nuiSb31pS/+x1K5Rf1kR2B/BrSW2zxHcmUOO9Q5K+J6ky+b2flcnqHFsl56Swei4gHewARMTHpLPd\nI0hny++QzvRaZav8HvicdHDdzIpnL9W5n3QJ3cukaukSqm92qVP2pXEpqRO7ct7dWXy3Z00rzwMH\nFLxsBHBzVsWuvIpqAumL9pEapgFuIH15P0LqeFxC6mwrJs5nSH0zf5Z0QDXLPyN19r9E6pT/iPSP\n3B6YVM0mhwNDgI9JXwaFV3usn817n1S+C0lXl0FqcpiVlcvJpGbAVRIRU0i1yauyfcwkdT7WpBWp\nLX0B6djZmNQfU5MJwMKImFMwLaCm/o8HSYn3HUkLalinJCLiBVJ7++Ok438HYGLBKn8mffE/CzwN\njCOdEC3Llh8DtCR1Rr9P6kOpqxnxZtJZfGHTUa2fS/ZFfyCwNanDfi6pUxyqL7/TSCcUr5GS0K2k\n478mOwOTJC0CxgKnR8RrdbyPslCEf2THzNYO2QnBnyKiposerMRcUzCzspG0jtK9Ic0lbU7qs7u7\n3HF9mbmmYGZlI2ldUvPXdqS+kr+TmlY+KmtgX2IlSwqSbiC1Ec+LiJXuUJUk4ArS5X+fkG6sWp1r\nws3MrJ6UsvnoJtIVJTU5AOiWPYaRLiE0M7MyKtlATRHxiGofkO1gYGSkqsoTkjaQ1LHgztJqtW/f\nPrp2rW2zZmZW1dSpUxdERNXRGFZSztH7NmfFyyznZvNWSgqShpFqE3Tp0oUpU6Y0SIBmZk2FpNl1\nr9VIrj6KiOsjok9E9OnQoc5EZ2Zmq6mcSeFNVrylvRMr3iZuZmYNrJxJYSxwTHa7+a7Ah3X1J5iZ\nWWmVrE9B0m2kQbvaK/04yfmkkQWJiD+RbmcfSLrV/BPSePpmZlZGpbz66Mg6lgdwSqn2b2Zmq65R\ndDSbmVnDcFIwM7Ock4KZmeWcFMzMLFfOO5qtEdMvV+mXQddYnO/RfM0agmsKZmaWc1IwM7Ock4KZ\nmeWcFMzMLOekYGZmOScFMzPLOSmYmVnOScHMzHK+ea3EHn64YW/yAhgwwDd6Wc0a+pj08di4uKZg\nZma5L1VNoaGHZgB4aK8G36WZ2WpzTcHMzHJfqpqCNV7umzFrGE4KZmXkJk1b27j5yMzMck4KZmaW\nc1IwM7Ock4KZmeWcFMzMLOekYGZmOScFMzPLOSmYmVnOScHMzHJOCmZmlnNSMDOznJOCmZnlnBTM\nzCznpGBmZjknBTMzy/n3FMzMVkNT/eGnktYUJO0vaYakmZLOrmZ5F0kPSXpa0rOSBpYyHjMzq13J\nkoKkCuBq4ACgB3CkpB5VVjsXuCMidgKOAK4pVTxmZla3UtYUdgFmRsRrEfE5cDtwcJV1Alg/e94O\neKuE8ZiZWR1KmRQ2B+YUTM/N5hUaARwlaS4wDjitug1JGiZpiqQp8+fPL0WsZmZG+TuajwRuiojL\nJfUDRknaPiKWF64UEdcD1wP06dOn9D0tZtao6JcN3+n70F4NvssGUcqawptA54LpTtm8QscDdwBE\nxONAa6B9CWMyM7NalDIpTAa6SdpSUktSR/LYKuu8AXwTQFJ3UlJw+5CZWZmULClExFLgVOB+4EXS\nVUbTJV0g6aBstZ8AJ0p6BrgNGBoRbh4yMyuTkvYpRMQ4Ugdy4bzzCp6/APQvZQxmZlY8D3NhZmY5\nJwUzM8s5KZiZWc5JwczMck4KZmaWc1IwM7Ock4KZmeWcFMzMLOekYGZmOScFMzPLOSmYmVnOScHM\nzHJOCmZmlnNSMDOznJOCmZnlnBTMzCznpGBmZjknBTMzyzkpmJlZzknBzMxyTgpmZpZzUjAzs5yT\ngpmZ5ZwUzMws56RgZmY5JwUzM8s5KZiZWc5JwczMck4KZmaWc1IwM7Ock4KZmeWcFMzMLOekYGZm\nOScFMzPLlTQpSNpf0gxJMyWdXcM6h0l6QdJ0SbeWMh4zM6td81JtWFIFcDXwLWAuMFnS2Ih4oWCd\nbsDPgf4R8b6kjUsVj5mZ1a2UNYVdgJkR8VpEfA7cDhxcZZ0Tgasj4n2AiJhXwnjMzKwOpUwKmwNz\nCqbnZvMKbQNsI2mipCck7V/dhiQNkzRF0pT58+eXKFwzMysqKUi6S9K3JdV3EmkOdAMGAEcCf5a0\nQdWVIuL6iOgTEX06dOhQzyGYmVmlYr/krwGGAK9IukTStkW85k2gc8F0p2xeobnA2Ij4b0S8DrxM\nShJmZlYGRSWFiPhXRHwf+DowC/iXpMck/UBSixpeNhnoJmlLSS2BI4CxVda5h1RLQFJ7UnPSa6v8\nLszMrF4U3RwkaSNgKHAC8DRwBSlJjK9u/YhYCpwK3A+8CNwREdMlXSDpoGy1+4GFkl4AHgJ+GhEL\nV/O9mJnZGirqklRJdwPbAqOAAyPi7WzRaElTanpdRIwDxlWZd17B8wDOzB5mZlZmxd6ncGVEPFTd\ngojoU4/xmJlZGRXbfNSj8KogSRtK+n8lisnMzMqk2KRwYkR8UDmR3Wx2YmlCMjOzcik2KVRIUuVE\nNoRFy9KEZGZm5VJsn8I/SZ3K12XTJ2XzzMysCSk2KZxFSgQ/zKbHA/9bkojMzKxsikoKEbEcuDZ7\nmJlZE1XsfQrdgIuBHkDryvkR8dUSxWVmZmVQbEfzjaRawlLgG8BI4JZSBWVmZuVRbFJYJyL+DSgi\nZkfECODbpQvLzMzKodiO5s+yYbNfkXQqabTTNqULy8zMyqHYmsLpwLrAj4DewFHAsaUKyszMyqPO\nmkJ2o9rhETEcWAT8oORRmZlZWdRZU4iIZcDuDRCLmZmVWbF9Ck9LGgvcCSyunBkRd5UkKjMzK4ti\nk0JrYCGwd8G8AJwUzMyakGLvaHY/gpnZl0CxdzTfSKoZrCAijqv3iMzMrGyKbT66r+B5a+BQ4K36\nD8fMzMqp2OajMYXTkm4DHi1JRGZmVjbF3rxWVTdg4/oMxMzMyq/YPoWPWbFP4R3SbyyYmVkTUmzz\nUdtSB2JmZuVXVPORpEMltSuY3kDSIaULy8zMyqHYPoXzI+LDyomI+AA4vzQhmZlZuRSbFKpbr9jL\nWc3MrJEoNilMkfQ7SVtlj98BU0sZmJmZNbxik8JpwOfAaOB2YAlwSqmCMjOz8ij26qPFwNkljsXM\nzMqs2KuPxkvaoGB6Q0n3ly4sMzMrh2Kbj9pnVxwBEBHv4zuazcyanGKTwnJJXSonJHWlmlFTzcys\ncSv2stJzgEclTQAE7AEMK1lUZmZWFsV2NP9TUh9SIngauAf4tJSBmZlZwyu2o/kE4N/AT4DhwChg\nRBGv21/SDEkzJdV49ZKkQZIiSzxmZlYmxfYpnA7sDMyOiG8AOwEf1PYCSRXA1cABQA/gSEk9qlmv\nbbb9SasQt5mZlUCxSWFJRCwBkNQqIl4Ctq3jNbsAMyPitYj4nHTT28HVrHch8BvSDXFmZlZGxSaF\nudl9CvcA4yXdC8yu4zWbA3MKt5HNy0n6OtA5Iv5e24YkDZM0RdKU+fPnFxmymZmtqmI7mg/Nno6Q\n9BDQDvjnmuxYUjPgd8DQIvZ/PXA9QJ8+fXwprJlZiazySKcRMaHIVd8EOhdMd8rmVWoLbA88LAlg\nU2CspIMiYsqqxmVmZmtudX+juRiTgW6StpTUEjgCGFu5MCI+jIj2EdE1IroCTwBOCGZmZVSypBAR\nS4FTgfuBF4E7ImK6pAskHVSq/ZqZ2eor6Q/lRMQ4YFyVeefVsO6AUsZiZmZ1K2XzkZmZNTJOCmZm\nlnNSMDOznJOCmZnlnBTMzCznpGBmZjknBTMzyzkpmJlZzknBzMxyTgpmZpZzUjAzs5yTgpmZ5ZwU\nzMws56RgZmY5JwUzM8s5KZiZWc5JwczMck4KZmaWc1IwM7Ock4KZmeWcFMzMLOekYGZmOScFMzPL\nOSmYmVnOScHMzHJOCmZmlnNSMDOznJOCmZnlnBTMzCznpGBmZjknBTMzyzkpmJlZzknBzMxyTgpm\nZpYraVKQtL+kGZJmSjq7muVnSnpB0rOS/i1pi1LGY2ZmtStZUpBUAVwNHAD0AI6U1KPKak8DfSJi\nR+BvwKWlisfMzOpWyprCLsDMiHgtIj4HbgcOLlwhIh6KiE+yySeATiWMx8zM6lDKpLA5MKdgem42\nrybHA/8oYTxmZlaH5uUOAEDSUUAfYK8alg8DhgF06dKlASMzM/tyKWVN4U2gc8F0p2zeCiTtA5wD\nHBQRn1W3oYi4PiL6RESfDh06lCRYMzMrbVKYDHSTtKWklsARwNjCFSTtBFxHSgjzShiLmZkVoWRJ\nISKWAqcC9wMvAndExHRJF0g6KFvtt0Ab4E5J0ySNrWFzZmbWAErapxAR44BxVeadV/B8n1Lu38zM\nVs1a0dFsZo2ftCHrrTeCioqtKWyEePHFF0u+73/s2/AXLrZr3eC7LKosW7duTadOnWjRosVq7cNJ\nwczqxXrrjWCTTXahXbvmSF/Mb9u2e8n3vfitxSXfR1Vbt23wXdZZlhHBwoULmTt3LltuueVq7cNj\nH5lZvaio2HqlhGANSxIbbbQRS5YsWe1tOCmYWT1p5oSwFtAafghOCmZmlnOfgpmVxPq/27letxfn\nR53r7NltTx555ZF63W9NLrvsRoYP/0E+vc8+x/Gvf92wxtvdcceDGTPmCrp165rPO+usy9l00/bs\nv/9yhg0bBqT+gxEjRnDooYeu8T4LuaZgZrYaLr/8xhWm6yMhAAwatC9/+9v4fHr58uXce++DDBq0\nL9tvvz1Tpkxh2rRp/POf/+Skk05i6dKl9bLfSk4KZtbkTH1sKicNPomzTjyLwXsO5txTzyUi1TSm\nT5vOcQcdx5B9hnDst49l8aLFLFu2jCsuvIJjBh7DkfscyV2j7sq3M+y7wzjj6DMYtMcgLj7rYpYv\nX84fL/ojn376Gf37D+H4488FoGPHPYF0Bn/uuVfQt+/h7LrrEYwZ8wAA//nPVAYOPImjjz6L3r0H\nc/zxX8RUaPDg/bjrri+SwsSJT9O586Z06dKRddddl+bNUwPPkiVL1rj/oDpuPjKzJmnG8zMY/eBo\nOmzagRMOPoFnJj9Dz149+cUPf8FF115Ez149WfTxIlq1bsW9t91Lm7ZtGDluJJ9/9jknHHICfffq\nC6QkMvqh0XTs1JEfff9HPDTuIU77xWmMuelOJk68daX9jh37EM899zKPPXYrCxd+wIABx9K//9cB\nePbZGUyaNJqOHTvwrW+dwBNPPEO/fr1WeH3PnlvTrJl47rmX2WGHbRgz5gEGD94vXz5p0iSOO+44\nZs+ezahRo/IkUV9cUzCzJqlnr55sstkmNGvWjG16bsNbc95i9quzab9xe3r26glAm7ZtaN68OZMm\nTGLc38Yx5FtDGPqdoXz4/ofMeX1Ovp1OW3SioqKC/Q7Zj2lPTqt1v48/Po3Bg/ejoqKCjTfeiP79\nv85TT00HoHfvnmy+eYppxx23Yfbst6rdxuDB+zFmzAMsXbqU++57mEMP/Wa+rG/fvkyfPp3Jkydz\n8cUXr9Hlp9VxTcHMmqSWLVvmz5tVNGPZ0mU1rhsEw381nH4D+q0wf+pjU6FKC82aNNmsEFOzZixb\ntozJk5/njDMuAuCcc05i4MC9GDRoXw455FT69/86PXt2Y+ONN1ppW927d6dNmzY8//zz9OnTZ7Vj\nqso1BTP70thiqy1YMG8B06elM/fFixazdOlSdt1rV8aMHMPS/6ZO29mvzubTTz4F4IVpL/DmG2+y\nfPlyxo8dT69dUnNPixbN+e9/V+7k3W23XowZM55ly5axYMH7PPbY0/Tu3bPGmHbeeXsmTryViRNv\nZeDA9JMyX/1qJzbaaANGjLiK731v33zd119/Pe9Ynj17Ni+99BJdu3Zd84Ip4JqCmZXER2dOBqBt\n2/o7i11TLVq24KJrL+Kycy/jsyWf0ap1K64efTWHDDmEt+e8zVH7H0VEsOFXNuSyGy4DoMfXevDb\nc37LnFlz6LNbHwYcMACAoUMPpV+/I/na17blL3/5Vb6PAw/8Bk8++Ry77TYESVxwwWlsskl7Xn55\n9irFOnjwvowYcTUHHrh3Pu/RRx/lkksuoUWLFjRr1oxrrrmG9u3br3nBFFB1vd9rsz59+sSUKVNW\n67X6ZcPfbvlQtb8lV1oDBpT+M23osnQ51p9SlWW7dv9g661X/oJqiKQw5a3V+06oy9THpnLLn27h\n9yN/v9Kybcsy9lFxZfniiy/SvfuK4yRJmhoRdW7AzUdmZpZz85GZWQ1679ab3rv1LncYDco1BTMz\nyzkpmJlZzknBzMxyTgpmZpZzR7OZlcTUqfU7dHYxlwj37dyXrbbbimXLlrFZ58244MoLaNtu1a8d\nPWnwSXy6+FNG/mMkAC888wJXXHgF1/3tuhpfM3v2W0ya9CyHHbZ/tcsvuuh6br75Htq33wCA8847\nhf326w+kEVdHjhxLRUUzLr10OPvs06/abTQE1xTMrMlo1boVt46/ldEPjqbdBu2486Y7V3tb7y14\nj4kPTix6/TfeeJs777y/1nVOOeXI/O7lyoTw0kuvMWbMeJ58cjR33XUlZ575G5Ytq3lIjlJzUjCz\nJmmH3jsw7515+fSoa0flQ2Nfd1k64//0k0854+gzGLLPEA7f+3AeuPeBfP2jf3g0N15540rbrRxm\ne6+9jqFfvyO54YY0zPb551/F448/Tf/+Q7jqqpVHT63J3/8+gUGDvkWrVi3p2nVzvvrVzkyZMn11\n3/Yac/ORmTU5y5YtY/KjkznoyIMAeGLCE7zx+hvc/PebiQh+MvQnPPXEU3yw8APab9qeP4z6AwCL\nPlqUb2OH3jvw8D8eZsrEKazbZt18fuUw2xMmjOSzzz5n331PYO+9+/LLX57KlVfewp13rnz3c6Xr\nr7+T224bx047defXvz6DDTdcn7fems/OO2+fr7P55hvz9tvz67tIiuaagpk1GZ8t+Ywh3xrC/r32\n570F79F3z/SbCE9MeIJJEybx/X2/z1H7HcWsV2cx5/U5bLXdVjz5yJP88dd/5OlJT9Nm/TYrbO+4\n04/jL1f8ZYV5lcNs9+8/hL33Hsp7733Iq6/OqTO2E04YxDPP3M3EiX9l003bc845f6i/N16PXFMw\nsyajsk9hyadLOG3Iadx5050ccfwRRARDTx3Kd4/+7kqvGfXPUUx8cCLXXnotO+++Myf++MR82c67\n78y1l17L8089n8+rHGZ76IErdgb/5z9TV5j+4Q9/ybPPzmDTTTswZswVKwx/feyxh3DYYT8GYLPN\nOvDmm+/my958cx4dO3ZYs4JYA64pmFmT03qd1gy/cDh/ve6vLF26lH4D+jF29Fg+WfwJAPPensd7\nC95j/jvzab1OawYOGsjRJx/NjOdmrLSt408/npHXjMynK4fZrhw2+5VXZrN48ae0abMuixYtzte7\n9trzmTjxVsaMuQKAd95ZkC/7v/97mO7dtwJg4MA9GTNmPJ999jmzZr3Ja6+9QZ8+NQ+1XWquKZhZ\nSfTuXd6hs7fdflu27r41D9zzAAMHD+T1V17nuIOOA2Ddddflgj9ewJxZc7jyV1ciieYtmnP2xWev\ntJ3+3+zPhhttmE9XDrO9xx5pmO327Tfk1lsvY/vtu1FRUcFuuw1hyJDvcOqpQ1bYzv/8z5U899zL\nSKJLl44XtLx0AAALwElEQVRcccUvAOjefSsOPXQfdt75MJo3r+Cyy35GRUVFCUumdh46u8Q85HP9\ncDnWHw+dXT88dLaZmTV5TgpmZpZzUjCzerKcRtYa3SStaZeAk4KZ1Ytly2by4YdLnRjKKCJYuHAh\nrVu3Xu1t+OojM6sXixeP4N13R7BgwdYUnm+2bv1iyfe94IMFda9UzypW/3t3tRVTlq1bt6ZTp06r\nvQ8nBTOrFxHvs2jR6SvN32mn0lcdevyyR8n3UVU5rohriLIsafORpP0lzZA0U9JKFwBLaiVpdLZ8\nkqSupYzHzMxqV7KkIKkCuBo4AOgBHCmpajo/Hng/IrYGfg/8plTxmJlZ3UpZU9gFmBkRr0XE58Dt\nwMFV1jkYuDl7/jfgm5Ia/m4eMzMDStunsDlQOHTgXKBvTetExFJJHwIbASv0GkkaBgzLJhdJWnmA\nkrXUN6A9Vd5P6TW9vOpyrD8NX5Yux/qzRmW5RTErNYqO5oi4Hri+3HGsDklTirm13Grncqw/Lsv6\n0VTLsZTNR28CnQumO2Xzql1HUnOgHbCwhDGZmVktSpkUJgPdJG0pqSVwBDC2yjpjgWOz54OBB6Ox\njdBnZtaElKz5KOsjOBW4H6gAboiI6ZIuAKZExFjgL8AoSTOB90iJo6lplM1eayGXY/1xWdaPJlmO\njW7obDMzKx2PfWRmZjknBTMzyzkprEV8415xJJVhKDKzLwcnhbWApM0kfdVXXtVOyXbAftn0BpLa\nlDmsRscnH/VD0vrljqEUnBTKLBsjaktguKS9JA2XtPIP3RpZ0hRwsKRxwHWku0qtCJK+LWkksFO5\nY2nMJO0r6d/ANZLOLXc89c1JoUyyZEBELAM+AQ4CRgGTI6LhB4dfS0mqeox+DhwCbAr8NCJm+cy3\nbpL2BH4N7AD0k/SVMofU6EhqJukE4CLSAJ5XArtIOqm8kdUvJ4UGVvkllyWDSh8C/wKeBR7N1qto\n+OjWPhGxHNKXmqS+wBvA/sA/gG9mqzkpVFFNopxFGrH4DNJglV9r6Jgao8JyzI7FucCQiLgvIp4E\nxgNNqhnJSaGBFXzJDZH0qKRzgHUiYijwMvCrbL1lNW+l6aqaDCWtL+k64I/AScB/gNdJZbWrpK4R\nsVxSq4aPdq3WEUBSi2x6bkS8HRETgLeAvSSt/s9zfXlUlmPLbPpBYGbBcdqdJnZS4qRQYlnnaEXB\ndIWkPwCHAccAG5LaxgHGAL0kdZO0iaQvzdlcVi4XAJdIOlFSZbv3VkCniPhaRBwHvAYMAZ4k3QV/\nqqRfAN9z7SqRtBnwAkBE/Df7u7zgrPcWYGtg1/JE2DhUKcfPK/9mJ3bLs9VaApPKE2FpOCmUWCTL\nJH1F0j5ZDeBaUlI4lvSP2UPSjyJiIqkZaRxwL7BO2QJvQJKOByaQhlKfBuwB3CupI/AV4B1JG2er\nX0oaRn0OaZiBTYBtgf/7stauqoqIt4A7JJ0J+WCTlR31RMR04Alge0l7S/p52YJdi9VUjtmyyKa7\nAlOyKwiHVb+lRiYi/CjxAzgTeI7U0dc8m3cyMCZ7/j3gg4Jl+wItyh13A5XNxqSzru2qzL8JuBXY\nBrgP2Klg2Thgh+x5y3K/h7XxAaxHGnG4dTbdLHtUDm3zFVI/w3zgd+WOd2191FCOFdnzHqR+wJ8B\nU4Gflzve+ni4plCPsqaiZlXmbQbsBhwSEedEGiiwGelSyonZam1IgwYOBYiIByKr9jd1ETGPNDDi\nngCS1s0W/ZB0P0IL4P9Il+z+TNL/ktpwZ2av/7zBg24EImIxcA6pVgrphGN5RER25dGlwCukZHtm\nueJc29VQjpU10u6kmsI2wMERcXHDR1j/PCBePZFUUXmwZB14SyJigaRBpEsnd63s9IuI/0o6hXQF\nyK7AdGBERDSaX5SrT5LWIzUHbRYRSyS1iojPJF0OBPBTUjl9D3g3Ivxb3kXITj7eAHaPdOnubqTO\n+lHAtPClz0Wpphx3B44EngemRroKqclwUqhH2RUw55L6C14Dfk66hO2vwAWR+gzI7sL9DNgM2DUi\nRpcn4rWHpJOBvhHxA0ktI+Lz7EarJyLimmydZpFdvWXFyRLBVaRLnQ8Efh8RV5Y3qsanSjkeRCrH\nK8obVWm4+Wg1VXPp5DbAPUCziNgWeIZ0NtEVuA24StJW2ZffZGDHiJjthJC7HviWpC2zhNCL9Hvd\nT1Su4ISw6iLiMdJ9MOsC3Z0QVk+VctyuqSYEaCS/0by2kaSCpqL1snbHz0mdppVXDF0HDAe+FhF/\nkdQVOJt0tcxhEfFcgwe+Fot0yeRhwJhsCIsDgSsj4qkyh9YUVF71ZmvmS1GOTgpFkrQFcDhwb0TM\nkLQ56Yv/Y0mzgP8BLgROkNQxIl6X9DgwQNKLETFCUosvSwfy6oiIxyR9SLpDdJeI+KzcMTUFX4Yv\nsobwZSlHNx/VIRvv5FLgbtKX1caStgL+QLqn4EfA7qQOvFmkzqdTspffRbrUdCl8cSOR1WqfiPiR\nE4JZebimULfvA18FdouIJZBfNtkO+HtEzJd0NvAD4GHS5ZOXSNo1Ip6QdHZELC1T7I3Ol+VszGxt\n5ZpCLbLO5O8AIysvlcwWbQK8CnTJLkWdSLpWeUdSJ/KfgbcBnBDMrDFxTaEWkYanWAp0yWZVjn/y\nuqQ5pFEnl5KGaJgHzMxuphpZjnjNzNaUawq1yAYQewToJqlDdjfoetniu0h3If9c0lPAqxExuVyx\nmpnVB9+8VgdJ2wKnkr70/1Aw/xTSXbjPAot8d6iZNQVuPqpDdvnp34ERSj+TOYV0pVEr4LSImFXO\n+MzM6pNrCkWStCvp0tOvA49ExJ/KHJKZWb1zUlhF2d3MLjQza5KcFMzMLOerj8zMLOekYGZmOScF\nMzPLOSmYmVnOScHMzHJOCmYlIKmXpIGr8bqukoaUIiazYjgp2JeapFLd1d8LqDYp1LHProCTgpWN\nk4I1OtnZ9EuSbpL0sqS/StpH0kRJr0jaJVtvPUk3SHpS0tOSDs7mD5U0VtKDwL+zH1K6JtvmeEnj\nJA3O1u0taYKkqZLul9Sxmni+J+l5Sc9IekRSS+AC4HBJ0yQdLmmEpFGSJgKjsvfwH0lPZY/dss1d\nAuyRve7Hkiok/VbSZEnPSjop22e1MUvaW9I9BbF9S9Ldpfw8rImJCD/8aFQP0tn0UmAH0onNVOAG\nQMDBwD3ZehcBR2XPNwBeBtYDhgJzga9kywYD47JtbQq8n81rATwGdMjWOxy4oZp4ngM2r9xP9nco\ncFXBOiOyONfJptcFWmfPuwFTsucDgPsKXjcMODd73oo09taWtcQs4KWCmG8FDiz3Z+ZH43l4QDxr\nrF6PiOcAJE0H/h0RIek5UtIA2Bc4SNLwbLo1X/w2xviIeC97vjtwZ0QsB96R9FA2f1tge2B8GkWd\nCrIfT6piInCTpDtIQ6rXZGxEfJo9bwFcJakXsIz0I03V2RfYsbLmQvrFv241xZyVwSjgKEk3Av2A\nY2qJyWwFTgrWWBX+hvPygunlfHFcCxgUETMKXyipL7C4iH0ImB4R/WpbKSJOzrb5bWCqpN41rFq4\nzx8D7wJfI53tL6klhtMi4v4VZtbeiX0j6Wdhl5ASh3/9z4rmPgVryu4HTst+LAlJO9Ww3kRgUNZO\nvwmpCQdgBtBBUr/s9S0k9az6YklbRcSkiDgPmA90Bj4G2tYSWzvg7exM/2hSLYRqXnc/8ENJLbJ9\nbZP90FNNMRMRbwFvAeeSEoRZ0ZwUrCm7kNRM82zWxHRhDeuNIfUxvADcAjwFfBjpp1UHA7+R9Aww\nDditmtf/VtJzkp4n9UE8AzwE9KjsaK7mNdcAx2bb3Y4vahHPAsuyTusfA/+bxfVUtv3rSDWhamMu\n2P5fgTkR8WKtJWRWhUdJNQMktYmIRZI2Ap4E+kfEO+WOqza1xSzpKuDpiPhLWYO0Rsd9CmbJfZI2\nAFoCF67tCSFTbcySppJqHj8pZ3DWOLmmYGZmOfcpmJlZzknBzMxyTgpmZpZzUjAzs5yTgpmZ5f4/\nrcFLjGylbp4AAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fe1abee1e50>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "width=0.35\n",
    "plt.bar(np.arange(scores.shape[1]), scores[0], width, color=\"g\", label=\"Inception-V3\")\n",
    "plt.bar(np.arange(scores.shape[1])+width, scores[1], width, color=\"y\", label=\"ResNet-50\")\n",
    "plt.legend(loc=4)\n",
    "plt.ylabel(\"accuracy\")\n",
    "plt.xlabel(\"merge strategy\")\n",
    "plt.xticks(np.arange(scores.shape[1])+0.5*width, [\"Concat\", \"Dot\", \"L1\", \"L2\"],\n",
    "          rotation=30)\n",
    "plt.title(\"Neural Network Classifiers with Image Vectors\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python [default]",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}