train_all.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyOdCP8xN4QY2TeGQYpvAiNw",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU",
    "gpuClass": "standard"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/DiveInKU/jaso-me-ai/blob/main/train_all.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 22,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "iNbM4WkZbbob",
        "outputId": "8c06ec92-a0d8-43ae-8696-0f599b3460f6"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount(\"/content/drive\", force_remount=True).\n"
          ]
        }
      ],
      "source": [
        "#drive 연동\n",
        "from google.colab import drive\n",
        "drive.mount('/content/drive')"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "%cd '/content/drive/MyDrive/Colab Notebooks/jasome-fast'"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Uuo4Y9iPbqBM",
        "outputId": "4ce3eef0-af37-4f61-d0b3-5e59aa73edd8"
      },
      "execution_count": 23,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "/content/drive/MyDrive/Colab Notebooks/jasome-fast\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install torch\n",
        "!pip install transformers\n",
        "!pip install fastai\n",
        "!pip install fastcore fastai --upgrade"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "pVVqKepPbuat",
        "outputId": "decd5031-b4aa-4fe6-f1bd-e71a48ea59b9"
      },
      "execution_count": 24,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: torch in /usr/local/lib/python3.7/dist-packages (1.12.1+cu113)\n",
            "Requirement already satisfied: typing-extensions in /usr/local/lib/python3.7/dist-packages (from torch) (4.1.1)\n",
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: transformers in /usr/local/lib/python3.7/dist-packages (4.23.1)\n",
            "Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.7/dist-packages (from transformers) (21.3)\n",
            "Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.7/dist-packages (from transformers) (4.64.1)\n",
            "Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.7/dist-packages (from transformers) (6.0)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.7/dist-packages (from transformers) (3.8.0)\n",
            "Requirement already satisfied: huggingface-hub<1.0,>=0.10.0 in /usr/local/lib/python3.7/dist-packages (from transformers) (0.10.1)\n",
            "Requirement already satisfied: importlib-metadata in /usr/local/lib/python3.7/dist-packages (from transformers) (4.13.0)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from transformers) (2.23.0)\n",
            "Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.7/dist-packages (from transformers) (1.21.6)\n",
            "Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.7/dist-packages (from transformers) (2022.6.2)\n",
            "Requirement already satisfied: tokenizers!=0.11.3,<0.14,>=0.11.1 in /usr/local/lib/python3.7/dist-packages (from transformers) (0.13.1)\n",
            "Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.7/dist-packages (from huggingface-hub<1.0,>=0.10.0->transformers) (4.1.1)\n",
            "Requirement already satisfied: pyparsing!=3.0.5,>=2.0.2 in /usr/local/lib/python3.7/dist-packages (from packaging>=20.0->transformers) (3.0.9)\n",
            "Requirement already satisfied: zipp>=0.5 in /usr/local/lib/python3.7/dist-packages (from importlib-metadata->transformers) (3.9.0)\n",
            "Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from requests->transformers) (3.0.4)\n",
            "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.7/dist-packages (from requests->transformers) (1.24.3)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.7/dist-packages (from requests->transformers) (2022.9.24)\n",
            "Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.7/dist-packages (from requests->transformers) (2.10)\n",
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: fastai in /usr/local/lib/python3.7/dist-packages (2.7.9)\n",
            "Requirement already satisfied: pandas in /usr/local/lib/python3.7/dist-packages (from fastai) (1.3.5)\n",
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.7/dist-packages (from fastai) (1.0.2)\n",
            "Requirement already satisfied: torchvision>=0.8.2 in /usr/local/lib/python3.7/dist-packages (from fastai) (0.13.1+cu113)\n",
            "Requirement already satisfied: pyyaml in /usr/local/lib/python3.7/dist-packages (from fastai) (6.0)\n",
            "Requirement already satisfied: packaging in /usr/local/lib/python3.7/dist-packages (from fastai) (21.3)\n",
            "Requirement already satisfied: scipy in /usr/local/lib/python3.7/dist-packages (from fastai) (1.7.3)\n",
            "Requirement already satisfied: pillow>6.0.0 in /usr/local/lib/python3.7/dist-packages (from fastai) (7.1.2)\n",
            "Requirement already satisfied: fastdownload<2,>=0.0.5 in /usr/local/lib/python3.7/dist-packages (from fastai) (0.0.7)\n",
            "Requirement already satisfied: fastprogress>=0.2.4 in /usr/local/lib/python3.7/dist-packages (from fastai) (1.0.3)\n",
            "Requirement already satisfied: matplotlib in /usr/local/lib/python3.7/dist-packages (from fastai) (3.2.2)\n",
            "Requirement already satisfied: spacy<4 in /usr/local/lib/python3.7/dist-packages (from fastai) (3.4.2)\n",
            "Requirement already satisfied: torch<1.14,>=1.7 in /usr/local/lib/python3.7/dist-packages (from fastai) (1.12.1+cu113)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from fastai) (2.23.0)\n",
            "Requirement already satisfied: fastcore<1.6,>=1.4.5 in /usr/local/lib/python3.7/dist-packages (from fastai) (1.5.27)\n",
            "Requirement already satisfied: pip in /usr/local/lib/python3.7/dist-packages (from fastai) (21.1.3)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.11.3)\n",
            "Requirement already satisfied: typing-extensions<4.2.0,>=3.7.4 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (4.1.1)\n",
            "Requirement already satisfied: pathy>=0.3.5 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (0.6.2)\n",
            "Requirement already satisfied: preshed<3.1.0,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (3.0.8)\n",
            "Requirement already satisfied: tqdm<5.0.0,>=4.38.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (4.64.1)\n",
            "Requirement already satisfied: wasabi<1.1.0,>=0.9.1 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (0.10.1)\n",
            "Requirement already satisfied: catalogue<2.1.0,>=2.0.6 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.0.8)\n",
            "Requirement already satisfied: typer<0.5.0,>=0.3.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (0.4.2)\n",
            "Requirement already satisfied: numpy>=1.15.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.21.6)\n",
            "Requirement already satisfied: thinc<8.2.0,>=8.1.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (8.1.5)\n",
            "Requirement already satisfied: spacy-legacy<3.1.0,>=3.0.10 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (3.0.10)\n",
            "Requirement already satisfied: langcodes<4.0.0,>=3.2.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (3.3.0)\n",
            "Requirement already satisfied: setuptools in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (57.4.0)\n",
            "Requirement already satisfied: pydantic!=1.8,!=1.8.1,<1.11.0,>=1.7.4 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.10.2)\n",
            "Requirement already satisfied: murmurhash<1.1.0,>=0.28.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.0.9)\n",
            "Requirement already satisfied: cymem<2.1.0,>=2.0.2 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.0.7)\n",
            "Requirement already satisfied: spacy-loggers<2.0.0,>=1.0.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.0.3)\n",
            "Requirement already satisfied: srsly<3.0.0,>=2.4.3 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.4.5)\n",
            "Requirement already satisfied: zipp>=0.5 in /usr/local/lib/python3.7/dist-packages (from catalogue<2.1.0,>=2.0.6->spacy<4->fastai) (3.9.0)\n",
            "Requirement already satisfied: pyparsing!=3.0.5,>=2.0.2 in /usr/local/lib/python3.7/dist-packages (from packaging->fastai) (3.0.9)\n",
            "Requirement already satisfied: smart-open<6.0.0,>=5.2.1 in /usr/local/lib/python3.7/dist-packages (from pathy>=0.3.5->spacy<4->fastai) (5.2.1)\n",
            "Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (3.0.4)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (2022.9.24)\n",
            "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (1.24.3)\n",
            "Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (2.10)\n",
            "Requirement already satisfied: blis<0.8.0,>=0.7.8 in /usr/local/lib/python3.7/dist-packages (from thinc<8.2.0,>=8.1.0->spacy<4->fastai) (0.7.9)\n",
            "Requirement already satisfied: confection<1.0.0,>=0.0.1 in /usr/local/lib/python3.7/dist-packages (from thinc<8.2.0,>=8.1.0->spacy<4->fastai) (0.0.3)\n",
            "Requirement already satisfied: click<9.0.0,>=7.1.1 in /usr/local/lib/python3.7/dist-packages (from typer<0.5.0,>=0.3.0->spacy<4->fastai) (7.1.2)\n",
            "Requirement already satisfied: MarkupSafe>=0.23 in /usr/local/lib/python3.7/dist-packages (from jinja2->spacy<4->fastai) (2.0.1)\n",
            "Requirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib->fastai) (1.4.4)\n",
            "Requirement already satisfied: python-dateutil>=2.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib->fastai) (2.8.2)\n",
            "Requirement already satisfied: cycler>=0.10 in /usr/local/lib/python3.7/dist-packages (from matplotlib->fastai) (0.11.0)\n",
            "Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.7/dist-packages (from python-dateutil>=2.1->matplotlib->fastai) (1.15.0)\n",
            "Requirement already satisfied: pytz>=2017.3 in /usr/local/lib/python3.7/dist-packages (from pandas->fastai) (2022.5)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.7/dist-packages (from scikit-learn->fastai) (3.1.0)\n",
            "Requirement already satisfied: joblib>=0.11 in /usr/local/lib/python3.7/dist-packages (from scikit-learn->fastai) (1.2.0)\n",
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: fastcore in /usr/local/lib/python3.7/dist-packages (1.5.27)\n",
            "Requirement already satisfied: fastai in /usr/local/lib/python3.7/dist-packages (2.7.9)\n",
            "Requirement already satisfied: packaging in /usr/local/lib/python3.7/dist-packages (from fastcore) (21.3)\n",
            "Requirement already satisfied: pip in /usr/local/lib/python3.7/dist-packages (from fastcore) (21.1.3)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from fastai) (2.23.0)\n",
            "Requirement already satisfied: pyyaml in /usr/local/lib/python3.7/dist-packages (from fastai) (6.0)\n",
            "Requirement already satisfied: matplotlib in /usr/local/lib/python3.7/dist-packages (from fastai) (3.2.2)\n",
            "Requirement already satisfied: torch<1.14,>=1.7 in /usr/local/lib/python3.7/dist-packages (from fastai) (1.12.1+cu113)\n",
            "Requirement already satisfied: torchvision>=0.8.2 in /usr/local/lib/python3.7/dist-packages (from fastai) (0.13.1+cu113)\n",
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.7/dist-packages (from fastai) (1.0.2)\n",
            "Requirement already satisfied: spacy<4 in /usr/local/lib/python3.7/dist-packages (from fastai) (3.4.2)\n",
            "Requirement already satisfied: scipy in /usr/local/lib/python3.7/dist-packages (from fastai) (1.7.3)\n",
            "Requirement already satisfied: fastdownload<2,>=0.0.5 in /usr/local/lib/python3.7/dist-packages (from fastai) (0.0.7)\n",
            "Requirement already satisfied: fastprogress>=0.2.4 in /usr/local/lib/python3.7/dist-packages (from fastai) (1.0.3)\n",
            "Requirement already satisfied: pandas in /usr/local/lib/python3.7/dist-packages (from fastai) (1.3.5)\n",
            "Requirement already satisfied: pillow>6.0.0 in /usr/local/lib/python3.7/dist-packages (from fastai) (7.1.2)\n",
            "Requirement already satisfied: cymem<2.1.0,>=2.0.2 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.0.7)\n",
            "Requirement already satisfied: langcodes<4.0.0,>=3.2.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (3.3.0)\n",
            "Requirement already satisfied: srsly<3.0.0,>=2.4.3 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.4.5)\n",
            "Requirement already satisfied: numpy>=1.15.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.21.6)\n",
            "Requirement already satisfied: preshed<3.1.0,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (3.0.8)\n",
            "Requirement already satisfied: typer<0.5.0,>=0.3.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (0.4.2)\n",
            "Requirement already satisfied: pydantic!=1.8,!=1.8.1,<1.11.0,>=1.7.4 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.10.2)\n",
            "Requirement already satisfied: spacy-loggers<2.0.0,>=1.0.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.0.3)\n",
            "Requirement already satisfied: tqdm<5.0.0,>=4.38.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (4.64.1)\n",
            "Requirement already satisfied: thinc<8.2.0,>=8.1.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (8.1.5)\n",
            "Requirement already satisfied: typing-extensions<4.2.0,>=3.7.4 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (4.1.1)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.11.3)\n",
            "Requirement already satisfied: wasabi<1.1.0,>=0.9.1 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (0.10.1)\n",
            "Requirement already satisfied: setuptools in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (57.4.0)\n",
            "Requirement already satisfied: murmurhash<1.1.0,>=0.28.0 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (1.0.9)\n",
            "Requirement already satisfied: pathy>=0.3.5 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (0.6.2)\n",
            "Requirement already satisfied: catalogue<2.1.0,>=2.0.6 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (2.0.8)\n",
            "Requirement already satisfied: spacy-legacy<3.1.0,>=3.0.10 in /usr/local/lib/python3.7/dist-packages (from spacy<4->fastai) (3.0.10)\n",
            "Requirement already satisfied: zipp>=0.5 in /usr/local/lib/python3.7/dist-packages (from catalogue<2.1.0,>=2.0.6->spacy<4->fastai) (3.9.0)\n",
            "Requirement already satisfied: pyparsing!=3.0.5,>=2.0.2 in /usr/local/lib/python3.7/dist-packages (from packaging->fastcore) (3.0.9)\n",
            "Requirement already satisfied: smart-open<6.0.0,>=5.2.1 in /usr/local/lib/python3.7/dist-packages (from pathy>=0.3.5->spacy<4->fastai) (5.2.1)\n",
            "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (1.24.3)\n",
            "Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (3.0.4)\n",
            "Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (2.10)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.7/dist-packages (from requests->fastai) (2022.9.24)\n",
            "Requirement already satisfied: confection<1.0.0,>=0.0.1 in /usr/local/lib/python3.7/dist-packages (from thinc<8.2.0,>=8.1.0->spacy<4->fastai) (0.0.3)\n",
            "Requirement already satisfied: blis<0.8.0,>=0.7.8 in /usr/local/lib/python3.7/dist-packages (from thinc<8.2.0,>=8.1.0->spacy<4->fastai) (0.7.9)\n",
            "Requirement already satisfied: click<9.0.0,>=7.1.1 in /usr/local/lib/python3.7/dist-packages (from typer<0.5.0,>=0.3.0->spacy<4->fastai) (7.1.2)\n",
            "Requirement already satisfied: MarkupSafe>=0.23 in /usr/local/lib/python3.7/dist-packages (from jinja2->spacy<4->fastai) (2.0.1)\n",
            "Requirement already satisfied: python-dateutil>=2.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib->fastai) (2.8.2)\n",
            "Requirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib->fastai) (1.4.4)\n",
            "Requirement already satisfied: cycler>=0.10 in /usr/local/lib/python3.7/dist-packages (from matplotlib->fastai) (0.11.0)\n",
            "Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.7/dist-packages (from python-dateutil>=2.1->matplotlib->fastai) (1.15.0)\n",
            "Requirement already satisfied: pytz>=2017.3 in /usr/local/lib/python3.7/dist-packages (from pandas->fastai) (2022.5)\n",
            "Requirement already satisfied: joblib>=0.11 in /usr/local/lib/python3.7/dist-packages (from scikit-learn->fastai) (1.2.0)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.7/dist-packages (from scikit-learn->fastai) (3.1.0)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from typing import Optional\n",
        "import torch\n",
        "import transformers\n",
        "from transformers import AutoModelWithLMHead, PreTrainedTokenizerFast\n",
        "from fastai.text.all import *\n",
        "import fastai\n",
        "import re"
      ],
      "metadata": {
        "id": "ng5FIrRZb2Nb"
      },
      "execution_count": 25,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')"
      ],
      "metadata": {
        "id": "nKUIhFJJHkgu"
      },
      "execution_count": 26,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#download model and tokenizer\n",
        "tokenizer = PreTrainedTokenizerFast.from_pretrained(\"skt/kogpt2-base-v2\",\n",
        "  eos_token='</s>') \n",
        "model = AutoModelWithLMHead.from_pretrained(\"skt/kogpt2-base-v2\")\n",
        "\n",
        "#test tokenizer\n",
        "print(tokenizer.tokenize(\"안녕하세요. 한국어 GPT-2 입니다.😤:)l^o\"))\n",
        "\n",
        "#test model ouput\n",
        "text = \"\"\"꾸준함\"\"\"\n",
        "input_ids = tokenizer.encode(text)\n",
        "# for i in range(5):\n",
        "gen_ids = model.generate(torch.tensor([input_ids]),\n",
        "                          max_length=100,\n",
        "                          repetition_penalty=2.0,\n",
        "                          pad_token_id=tokenizer.pad_token_id,\n",
        "                          eos_token_id=tokenizer.eos_token_id,\n",
        "                          bos_token_id=tokenizer.bos_token_id,\n",
        "                          use_cache=True,\n",
        "                          temperature=1.1,\n",
        "                          top_k=50,\n",
        "                          top_p=0.8,\n",
        "                          do_sample=True\n",
        "                        )\n",
        "generated = tokenizer.decode(gen_ids[0,:].tolist())\n",
        "print(generated)\n",
        "# print('{}. {}'.format(i, generated))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_0N0B04Rb5Ef",
        "outputId": "15f7f3d2-9853-403c-cc61-ac748fd08f69"
      },
      "execution_count": 50,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. \n",
            "The tokenizer class you load from this checkpoint is 'GPT2Tokenizer'. \n",
            "The class this function is called from is 'PreTrainedTokenizerFast'.\n",
            "/usr/local/lib/python3.7/dist-packages/transformers/models/auto/modeling_auto.py:1116: FutureWarning: The class `AutoModelWithLMHead` is deprecated and will be removed in a future version. Please use `AutoModelForCausalLM` for causal language models, `AutoModelForMaskedLM` for masked language models and `AutoModelForSeq2SeqLM` for encoder-decoder models.\n",
            "  FutureWarning,\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['▁안녕', '하', '세', '요.', '▁한국어', '▁G', 'P', 'T', '-2', '▁입', '니다.', '😤', ':)', 'l^o']\n",
            "꾸준함에서 오는 스트레스가 큰 편이다.\n",
            "또한 우울증이 심할수록 치매 위험도가 높아진다.\n",
            "따라서 평소 자신이 할 수 있는 일을 찾다가 잘못된 판단을 하게 되는 것이다.\n",
            "치매는 그 자체로 정신건강의 문제가 아니다.\n",
            "인생을 살아가는 동안 누구나 한번쯤은 겪게 될 문제다.\n",
            "최근 한 설문조사 결과에 따르면 응답자의 77.7%가 자신감이나 자존감이 하락했다고 답했다.\n",
            "그리고 20%는 불안감을 경험했고 33.3%만이 자신도 모르게 자살을 결심한 것으로 드러났다.\n",
            "특히 최근 많은 분들이 자살에\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import os\n",
        "print(os.getcwd())\n",
        "# print(os.listdir('../jasome-fastapi/after/train'))\n",
        "\n",
        "train = ''\n",
        "test = ''\n",
        "\n",
        "# for original_file_name in os.listdir('../jasome-fastapi/after/train'):\n",
        "#   f = open('../jasome-fastapi/after/train/'+original_file_name, 'r')\n",
        "#   line = f.read()\n",
        "#   line = \" \".join(line.split())\n",
        "#   print(line[0:100])\n",
        "#   print('line', len(line))\n",
        "#   train += line + \" \"\n",
        "#   print('train', len(train))\n",
        "\n",
        "# for original_file_name in os.listdir('../jasome-fastapi/after/test'):\n",
        "#   f = open('../jasome-fastapi/after/test/'+original_file_name, 'r')\n",
        "#   line = f.read()\n",
        "#   line = \" \".join(line.split())\n",
        "#   print(line[0:100])\n",
        "#   print('line', len(line))\n",
        "#   test += line\n",
        "#   print('test', len(test))\n",
        "\n",
        "\n",
        "# print(train[:100])\n",
        "# print(test[:100])\n",
        "\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "mJ5-dUT_b6s6",
        "outputId": "3f11ebc1-494c-4d04-9e31-ba3e049c3da3"
      },
      "execution_count": 67,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "/content/drive/MyDrive/Colab Notebooks/jasome-fast\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "train_file = open('../jasome-fastapi/merged/all_train.txt', 'r')\n",
        "line = train_file.read()\n",
        "line = \" \".join(line.split())\n",
        "print(line[0:100])\n",
        "print('line', len(line))\n",
        "train += line + \" \"\n",
        "print('train', len(train))\n",
        "train_file.close()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "0IC9lC4l9i19",
        "outputId": "fc1d0c58-51c0-4f21-baa0-aaece9365464"
      },
      "execution_count": 55,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "저는 학부 연구생을 하면서 연구실 홈페이지 개발 및 관리를 맡은 경험이 있습니다. 당시 처음으로 웹 백엔드를 접하게 되었고 스프링 부트로 연구실 홈페이지를 개발했고 이를 바탕으로 \n",
            "line 499494\n",
            "train 1052050\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "test_file = open('../jasome-fastapi/merged/all_test.txt', 'r')\n",
        "line = test_file.read()\n",
        "line = \" \".join(line.split())\n",
        "print(line[0:100])\n",
        "print('line', len(line))\n",
        "test += line + \" \"\n",
        "print('test', len(train))\n",
        "test_file.close()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "qQ0g9P26eKb0",
        "outputId": "a03ee226-55fa-4e95-83c2-75eef9d5da18"
      },
      "execution_count": 57,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "전문성의 중요도는 아무리 강조해도 부족합니다. 특히 요즘처럼 많은 지식에 쉽게 접근 할 수 있는 세상에서는 자신만의 전문성이 곧 자신의 정체성이라고 생각합니다. 저 또한 Gener\n",
            "line 53059\n",
            "test 1052050\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "print(len(train))\n",
        "print(len(test))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "b51bbIEQ5_OK",
        "outputId": "55f18594-9453-4475-e281-0430d639b9fe"
      },
      "execution_count": 58,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "1052050\n",
            "106120\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#model input output tokenizer\n",
        "class TransformersTokenizer(Transform):\n",
        "    def __init__(self, tokenizer): self.tokenizer = tokenizer\n",
        "    def encodes(self, x): \n",
        "        toks = self.tokenizer.tokenize(x)\n",
        "        return tensor(self.tokenizer.convert_tokens_to_ids(toks))\n",
        "    def decodes(self, x): return TitledStr(self.tokenizer.decode(x.cpu().numpy()))\n",
        "\n",
        "#split data\n",
        "# train=lines[:int(len(lines)*0.9)]\n",
        "# test=lines[int(len(lines)*0.9):]\n",
        "# print(test)\n",
        "splits = [[0],[1]]\n",
        "\n",
        "#init dataloader\n",
        "tls = TfmdLists([train,test], TransformersTokenizer(tokenizer), splits=splits, dl_type=LMDataLoader)\n",
        "batch,seq_len = 8,256\n",
        "dls = tls.dataloaders(bs=batch, seq_len=seq_len)\n",
        "# dls.show_batch(max_n=2)"
      ],
      "metadata": {
        "id": "zC4ARTM2cOSo"
      },
      "execution_count": 59,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "AM7KsQtc4fJC"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "t = torch.randn(2,2).cuda()\n",
        "t.is_cuda  # returns True"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "oDFy4rWJRQhq",
        "outputId": "cd11cc49-1c66-4b35-e806-e0668ad0f3c9"
      },
      "execution_count": 60,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "True"
            ]
          },
          "metadata": {},
          "execution_count": 60
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#gpt2 ouput is tuple, we need just one val\n",
        "class DropOutput(Callback):\n",
        "    def after_pred(self): self.learn.pred = self.pred[0]\n",
        "        \n",
        "        \n",
        "learn = Learner(dls, model, loss_func=CrossEntropyLossFlat(), cbs=[DropOutput], metrics=Perplexity()).to_fp16()\n",
        "lr=learn.lr_find()\n",
        "print(lr)\n",
        "learn.fit_one_cycle(5, lr) # 5에포크\n",
        "# learn.fine_tune(3)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 491
        },
        "id": "gRe3iH1acTG_",
        "outputId": "7d5acb9c-a704-4392-8d4d-7fe796d12bde"
      },
      "execution_count": 61,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "<style>\n",
              "    /* Turns off some styling */\n",
              "    progress {\n",
              "        /* gets rid of default border in Firefox and Opera. */\n",
              "        border: none;\n",
              "        /* Needs to be in here for Safari polyfill so background images work as expected. */\n",
              "        background-size: auto;\n",
              "    }\n",
              "    progress:not([value]), progress:not([value])::-webkit-progress-bar {\n",
              "        background: repeating-linear-gradient(45deg, #7e7e7e, #7e7e7e 10px, #5c5c5c 10px, #5c5c5c 20px);\n",
              "    }\n",
              "    .progress-bar-interrupted, .progress-bar-interrupted::-webkit-progress-bar {\n",
              "        background: #F44336;\n",
              "    }\n",
              "</style>\n"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": []
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "SuggestedLRs(valley=4.365158383734524e-05)\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "<style>\n",
              "    /* Turns off some styling */\n",
              "    progress {\n",
              "        /* gets rid of default border in Firefox and Opera. */\n",
              "        border: none;\n",
              "        /* Needs to be in here for Safari polyfill so background images work as expected. */\n",
              "        background-size: auto;\n",
              "    }\n",
              "    progress:not([value]), progress:not([value])::-webkit-progress-bar {\n",
              "        background: repeating-linear-gradient(45deg, #7e7e7e, #7e7e7e 10px, #5c5c5c 10px, #5c5c5c 20px);\n",
              "    }\n",
              "    .progress-bar-interrupted, .progress-bar-interrupted::-webkit-progress-bar {\n",
              "        background: #F44336;\n",
              "    }\n",
              "</style>\n"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>epoch</th>\n",
              "      <th>train_loss</th>\n",
              "      <th>valid_loss</th>\n",
              "      <th>perplexity</th>\n",
              "      <th>time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>0</td>\n",
              "      <td>3.768489</td>\n",
              "      <td>3.564053</td>\n",
              "      <td>35.306011</td>\n",
              "      <td>01:22</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>3.104521</td>\n",
              "      <td>3.124458</td>\n",
              "      <td>22.747564</td>\n",
              "      <td>01:21</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>2.496315</td>\n",
              "      <td>2.790264</td>\n",
              "      <td>16.285313</td>\n",
              "      <td>01:21</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>2.114128</td>\n",
              "      <td>2.585115</td>\n",
              "      <td>13.264811</td>\n",
              "      <td>01:23</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>4</td>\n",
              "      <td>1.949103</td>\n",
              "      <td>2.510651</td>\n",
              "      <td>12.312944</td>\n",
              "      <td>01:21</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ],
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYAAAAEKCAYAAAAb7IIBAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+WH4yJAAAgAElEQVR4nO3de3ycZZ338c8vk0nSpGl6Ss/FHji10LKUgIogFVBQQHlQwLUKaJVlfRYeDwtbHx8FXd31pesuC8pRTitItxQU8IAIFMqKAm2hhVJ6oEATekjSpmlzzsz8nj9mpqShSZNmZu45fN+vV16Zuedw/65Mcn9zXffhMndHREQKT1HQBYiISDAUACIiBUoBICJSoBQAIiIFSgEgIlKgFAAiIgWqOOgCBmLs2LE+bdq0oMsQEckpK1eubHT36r4ez4kAmDZtGitWrAi6DBGRnGJmb/f3uIaAREQKlAJARKRAKQBERApUTuwDOJDu7m7q6uro6OgIupTAlJWVMWXKFMLhcNCliEgOytkAqKuro7KykmnTpmFmQZeTce7Ozp07qaurY/r06UGXIyI5KGeHgDo6OhgzZkxBbvwBzIwxY8YUdA9IRIYmZwMAKNiNf1Kht18kn+3p6OaxV7fR2NKZtnXkdADkkuHDhwPw1ltvceyxxwZcjYhkuw3b93LFvatYu3VP2tZROAGwZgn8x7Fw3cj49zVLgq5IRKRPW5vjw7sTq8rSto7CCIA1S+DRq6C5FvD490evGlIILFq0iJ///Of77l933XX84Ac/4IwzzmDevHnMmTOHhx9+uN/3iEajXH311Zx44onMnTuXW2+9FYBLLrmE3/zmN/uet2DBgoO+l4jkl2272wEFwNA9+X3obt9/WXd7fPkhuvjii1my5N0AWbJkCZdeeim//vWvWbVqFcuWLeOb3/wm/U25eccdd1BVVcWLL77Iiy++yO23386bb77JwoULufvuuwFobm7mueee45xzzjnkWkUk92xr7qCytJjKsvQd5p2zh4EOSnPd4JYPwPHHH099fT1bt26loaGBUaNGMWHCBL7+9a+zfPlyioqKeOedd9ixYwcTJkw44Hs8/vjjrFmzhqVLl8bLaW5m48aNfOxjH+OrX/0qDQ0NPPjgg3z605+muLgwPioRidvW3M6ENP73D4USAFVTEsM/B1g+BBdeeCFLly5l+/btXHzxxdx33300NDSwcuVKwuEw06ZN6/cwTXfnxhtv5KyzznrPY5dccgn33nsvixcv5q677hpSnSKSe7Y1dzBx5LC0rqMwhoDO+C6Ee/0gw8Piy4fg4osvZvHixSxdupQLL7yQ5uZmxo0bRzgcZtmyZbz9dr8X4uOss87i5ptvpru7G4ANGzbQ2toKwGWXXcb1118PwOzZs4dUp4jknm3NHUxSDyAF5l4U//7k9+PDPlVT4hv/5PJDdMwxx7B3714mT57MxIkTWbBgAeeddx5z5syhpqaGo48+ut/Xf/nLX+att95i3rx5uDvV1dX7dv6OHz+eWbNmcf755w+pRhHJPV2RGI0tnWkfArL+dlJmi5qaGu89H8C6deuYNWtWQBWlX1tbG3PmzGHVqlVUVVX1+bx8/zmIFKLaXW2c+uNl/PjTc7noxKmH/D5mttLda/p6vDCGgHLME088waxZs7jyyiv73fiLSH7aljwHYKSGgArOmWeeedD9ByKSv7Y1p/8cAFAPQEQk62zdnTwLWEcB9SkX9l+kU6G3XyRfbW9uZ0RZMRWl6R2kydkAKCsrY+fOnQW7EUzOB1BWlt4uoohk3tbmjrT/9w85vA9gypQp1NXV0dDQEHQpgUnOCCYi+WVbc3vadwBDDgdAOBzWTFgikpe2N3cwZ/LItK8nZ4eARETyUWckSmNLV9qPAAIFgIhIVtmegXkAkhQAIiJZJHkS2KQ0XwgOFAAiIlkleRJYuq8DBAoAEZGskjwJbFIGDgNVAIiIZJHtzR2MLA8zrCSU9nUpAEREssi25nYmjMjMCZ4KABGRLLJ1d0dGdgCDAkBEJKts39ORkUNAQQEgIpI1Orqj7GrNzElgoAAQEcka+yaCycARQKAAEBHJGtt2JyaCycCF4CCNAWBmd5pZvZm92mPZT8zsdTNbY2a/NrP0X+1IRCRH5FMP4G7g7F7L/gQc6+5zgQ3At9K4fhGRnJKpqSCT0hYA7r4c2NVr2ePuHknc/Sugi9mLiCRsbe5gdEUJZeH0nwQGwe4D+BLwhwDXLyKSVbY3d2TsJDAIKADM7NtABLivn+dcbmYrzGxFIc/6JSKFY+vudiZlaAcwBBAAZnYZcC6wwPuZ0Nfdb3P3Gnevqa6uzlh9IiJB2ZahuYCTMjolpJmdDVwDnObubZlct4hINmvritDc3p2Ry0AnpfMw0PuBvwBHmVmdmS0EfgZUAn8ys5fN7JZ0rV9EJJe8OxFM5gIgbT0Ad//bAyy+I13rExHJZdt2Z/YcANCZwCIiWWFr4izgTEwEk6QAEBHJArVNbRRZ5i4DAQoAEZGsUNfUzsSqYYRDmdssKwBERLJA7a42po7O3PAPKABERLJCbVMbU0aVZ3SdCgARkYB1dEfZsaeTqQoAEZHCkjwCSENAIiIFprYpHgAaAhIRKTC1u+JXxlEPQESkwNQ1tVMSKmJ8ZebOAQAFgIhI4Gqb2pg8ahhFRZbR9SoAREQCVrerjSmjMjv8AwoAEZHA1Ta1Z3wHMCgAREQC1doZYVdrV8Z3AIMCQEQkUHUBHQIKCgARkUDtOwRU+wBERApLXVPyHAD1AERECkptUzvDwiHGVJRkfN0KABGRANUmDgE1y+w5AKAAEBEJVG1TeyDDP6AAEBEJVF1TWyA7gEEBICISmOa2bvZ2RAI5BBQUACIigaltCuYqoEkKABGRgCQPAVUPQESkwNTuSswEpgAQESkstU1tVJYVU1UeDmT9CgARkYDU7moL7L9/UACIiASmrqk9sB3AoAAQEQmEu1MX0DwASQoAEZEANLZ00d4dDewkMFAAiIgEIsirgCYpAEREAlAb4EQwSQoAEZEA7JsIRjuBRUQKyxsNLUwYUUZ5SXFgNaQtAMzsTjOrN7NXeywbbWZ/MrONie+j0rV+EZFs9kZDKzOqKwKtIZ09gLuBs3stWwQ86e5HAE8m7ouIFBR3Z3NDS/4GgLsvB3b1Wvwp4J7E7XuA89O1fhGRbNXY0sXejggzxg4PtI5M7wMY7+7bEre3A+P7eqKZXW5mK8xsRUNDQ2aqExHJgM0NLQD52wM4GHd3wPt5/DZ3r3H3murq6gxWJiKSXpsbWwGYWV1YPYAdZjYRIPG9PsPrFxEJ3OaGFkqKi5g0MrhDQCHzAfAIcGni9qXAwxlev4hI4DY3tDJjbAWhIgu0jnQeBno/8BfgKDOrM7OFwI+Aj5rZRuDMxH0RkYKyuTH4Q0AB0nYGgrv/bR8PnZGudYqIZLuuSIwtu9o4Z87EoEvRmcAiIpm0ZVcb0ZhnRQ9AASAikkHvHgIa7BFAoAAQEcmo5CGg6gGIiBSYzQ0tjB1eyoiyYCaC70kBICKSQZuz4CJwSQoAEZEM2tzYykwFgIhIYdnd1sWu1q7ALwKXpAAQEcmQNxqyZwcwKABERDImmw4BBQWAiEjGbG5sJRwypo4K9iJwSQoAEZEM2dzQwmGjyykOZcemd0BVmFmFmRUlbh9pZp80s+APYhURySHxeYCzY/gHBt4DWA6Umdlk4HHgC8Tn/BURkQGIRGO8vTN7zgGAgQeAuXsbcAFwk7tfCByTvrJERPJLXVM73VFnZpYcAgqDCAAz+yCwAPhdYlkoPSWJiOSfzY3ZMQ9wTwMNgK8B3wJ+7e5rzWwGsCx9ZYmI5JfN+84ByJ4ewIAmhHH3Z4BnABI7gxvd/ap0FiYikk9efaeZscNLGF1REnQp+wz0KKBfmdkIM6sAXgVeM7Or01uaiEh+iMWc5RsbOeXwsUGXsp+BDgHNdvc9wPnAH4DpxI8EEhGRg3jlnWZ2tXYx/6hxQZeyn4EGQDhx3P/5wCPu3g14+soSEckfT69vwAxOPSI3ewC3Am8BFcByM3sfsCddRYmI5JNnNtQzd3IVY4aXBl3KfgYUAO5+g7tPdvdPeNzbwEfSXJuISM7b3dbFy7W7OS3Lhn9g4DuBq8zs381sReLrp8R7AyIi0o/lGxuJOcw/qjroUt5joENAdwJ7gYsSX3uAu9JVlIhIvnhmfQMjy8McN2Vk0KW8x4DOAwBmuvune9z/npm9nI6CRETyRSzmPLOhgVOPqCZUZEGX8x4D7QG0m9kpyTtm9iGgPT0liYjkh9e27aGxpZP5R2bf8A8MvAdwBfBfZlaVuN8EXJqekkRE8sMzGxoA+HAuB4C7rwaOM7MRift7zOxrwJp0FiciksueXl/PsZNHUF2ZXYd/Jg1qWhp335M4IxjgG2moR0QkLzS3d7Nqy27mH5l9h38mDWVesuzboyEikiX+vKmRaMw5LQsP/0waSgDoUhAiIn14en09I8qKOX5q9h3+mdTvPgAz28uBN/QGZMe09iIiWSYWc5atjx/+mS0TwB9IvwHg7pWZKkREJF+8tm0PDXs7+cjR2Tv+D0MbAjpkZvZ1M1trZq+a2f1mVhZEHSIi6fDU6/WYZeflH3rKeACY2WTgKqDG3Y8lPrfwZzNdh4hIujz1ej1zp4xkbJZd/bO3oAanioFhZlYMlANbA6pDRCSldrZ0srpuN6dn4dU/e8t4ALj7O8C/AVuAbUCzuz/e+3lmdnny6qMNDQ2ZLlNE5JA8vb4Bdzg9y8f/IZghoFHAp4hPKzkJqDCzz/d+nrvf5u417l5TXZ3d42giIknL1tczdngpx0waEXQpBxXEENCZwJvu3pCYWvIh4OQA6hARSalINMbyDQ185KhqirLw6p+9BREAW4APmFm5mRlwBrAugDpERFJq5dtN7OmI5MTwDwSzD+B5YCmwCnglUcNtma5DRCTVnlpfTzhknJJlk7/3ZaCXg04pd78WuDaIdYuIpMuy1+s5cdpoKsvCQZcyINl7jrKISA6pa2pjw44WPpIDh38mKQBERFJg2fr44erZfvmHnhQAIiIp8Pja7Rw2upyZ1RVBlzJgCgARkSH6n42NPLuxkYtPnEr84MbcoAAQERmC7miM6x5dy2Gjy1l4yvSgyxkUBYCIyBDc89xbbKpv4bvnzqYsHAq6nEFRAIiIHKKGvZ385xMbOe3Ias6YlTs7f5MUACIih+jHj71ORyTKtefNzqmx/yQFgIjIIXhpSxMPrKzjS6dMZ0b18KDLOSQKABGRQYpEY1z7yFrGVZZy5elHBF3OIVMAiIgM0q3LN7OmrpnvnDub4aWBXFEnJRQAIiKDsG7bHq5/YgPnzJnIecdNCrqcIVEAiIgMUFckxjeWrKZqWJh/Pv/YoMsZstztu4iIZNjPntrIum17uP2SGkZXlARdzpCpByAiMgCra3fz86ff4NPzpvDR2eODLiclFAAiIgfR0R3lmw+spnp4Kd89b3bQ5aSMhoBERA7i+ic2sqm+hXu+dBJVw3JjspeBUA9ARKQfq2t3c9vyN7i4ZiqnHVkddDkppQAQEelDZyTKPz6wmvEjyvj2ubOCLiflNAQkItKHG5/cxMb6Fu764omMyJF5fgdDPQARkQN4pa6Zm595g8+cMCWn5vkdDAWAiEgvXZEYVy9dzZiKEr5zTv4c9dObhoBERHr52bJNvL59L7+4pIaq8vwb+klSD0BEpIe1W5u5adkm/tfxkzkzT0746osCQEQkoTsa4+oH1jCyvIRr8+iEr75oCEhEJOGWp9/gtW17uOXzJzCyPPev9XMw6gGIiADrt+/lhqc2cu7ciZx97ISgy8kIBYCIFLxINMY1S1czoizM9z55TNDlZIyGgESkoLk733l4LavrmvnZ545nzPDSoEvKGPUARKSg/eypTdz/wha+On8m587N7Rm+BksBICIF64EVtfz0Txu4YN5krj7rqKDLyTgFgIgUpKfX17PooVc49Yix/OiCuZhZ0CVlnAJARArOyreb+Op9qzh6QiU3f/4ESooLc1MYSKvNbKSZLTWz181snZl9MIg6RKTwPLepkS/c8TzjKku567ITGV5auMfCBNXy/wQec/fPmFkJUB5QHSJSQJ5ct4O/v28V08dU8MuFJzFuRFnQJQUq4wFgZlXAh4HLANy9C+jKdB0iUlh+u2YrX1v8MrMnjeCeL57EqIr8P9P3YIIYApoONAB3mdlLZvYLM6vo/SQzu9zMVpjZioaGhsxXKSJ5Y8mKWq66/yXmHTaK+778fm38E4IIgGJgHnCzux8PtAKLej/J3W9z9xp3r6muzq95OEUkc+7+85tcs3QNHzp8LPd86SQq83Bmr0MVRADUAXXu/nzi/lLigSAiklI3Pb2J6x59jY/OHs8vLq1hWEko6JKySsYDwN23A7Vmljzr4gzgtUzXISL5y935tz+u58ePreeTx03ipgXzKC3Wxr+3oI4CuhK4L3EE0GbgiwHVISJ5Zm9HN9979DWWrqzj4pqp/MsFcwgVFd5JXgMRSAC4+8tATRDrFpH89fzmnXzzgdVs3d3OlacfztfPPJIibfz7VLhnQIhI3uiMRPnp4xu4/dnNTB1VzpK/+yA100YHXVbWUwCISE57blMj33n4Vd5oaOVz7z+Mb39iFhUFfHbvYOinJCI5aXtzBz/8/ToeXb2Vw0aXc/cXT2T+UeOCLiunKABEJKe4O//1l7f58WOv0x1zvnbmEVxx2kzKwjrKZ7AUACKSM1o7I1zz4Bp+t2Ybpx1Zzfc/dQzvG/OeCwnIACkARCQnbKpv4Yp7V7K5oYVFHz+av/vwjIK8hn8qKQBEJOs99up2/vGB1ZQWF3Hvwvdz8uFjgy4pLygARCSrLV1Zx9VLVzN3ykhuXjCPSSOHBV1S3lAAiEjWWvJiLf/00BpOOXwst19Sox29KVaY86CJSNZb/MIWrnlQG/90UgCISNb51fNbWPTQK5x2ZLU2/mmkISARyRpdkRj/8vt13P3cW3zkqGpu/vwJ2vinkQJARLLC1t3t/O9freKlLbv54oem8a2Pz6KkWIMU6aQAEJHAPbOhga8tfonuqHPTgnl8Ys7EoEsqCAoAEQlMW1eEHz+2nrufe4ujJ1Ry04J5zKgeHnRZBUMBICKB+OvmnVyzdA1bdrVx2cnT+Kezj9aUjRmmABCRjOqMRPnX37/O3c+9xWGjy1l8+Qf4wIwxQZdVkBQAIpIx7V1RLv/lCp7d2MhlJ0/jmrOPorxEm6Gg6CcvIhmxt6ObhXevYMXbu/jJZ+ZyYc3UoEsqeAoAEUm73W1dXHrXi6x9p5n//OzxnHfcpKBLEhQAIpJmjS2dfOGOF3ijvoWbP38CH509PuiSJEEBICJpU7urjS/c8Tzb93Twi0tr+PCR1UGXJD0oAEQkLdZt28Old75AZyTGfV/+ACe8b1TQJUkvCgARSbkX3tzFwntepKKkmAeu+CBHjq8MuiQ5AAWAiKSMu/Obl99h0YOvMHnkMP5r4UlMGVUedFnSBwWAiKTEzpZO/t9vXuUPr26n5n2juPULJzBmeGnQZUk/FAAiMmR/XLud//vQK+ztiLDo40fzlVNnECrShO3ZTgEgIoesua2b7z26lodeeodjJo3gV1/5G46aoPH+XKEAEJFD8tTrO1j04CvsbO3iqtMP5x9OP0LX788xeR0AtbvaMEM7oURSqLm9m3/+7WssXVnHUeMrufOyEzl2clXQZckhyOsAuOWZN7jv+S1MHT2MD84YwwdnjuGk6WOYVFWGWWrHJ92dju4YbV0RhpWEdIGrbLdmCTz5fWiug6opcMZ3Ye5FQVeV1V6pa+ZXL7zNwy9vpTMS4x8+cjhXnnE4pcW6hHOuyuut1JdOmc7h44bzlzd28se1O1iyog6AUeVhZk8aweyJI5g1cQRHjq9kZvXwfq9F3hWJ0dDSyfbmDt5sbGVj/V427WhhY30Lu1q7aO2K4P7u88dUlDBldDlTRw2jsixMR3eU9q4obd1RItEYoSKjuMgIFRURDhklxUWUhIooKS4iHNq/Gx1zp7M7Rnt3lPbuKB3dUQCKzDCLfy8tLqK8pJjykhDlpSFGlIUZWR5mVHkJI4eFGTEsnAimEOXhYkIhoysS2/cVdae4yAiHiihO1FNRUpyfO/LWLIFHr4Lu9vj95tr4fVAI9BCLOet37OWvm3fy65feYU1dM2XhIs6bO4nLPjSNYybpv/5cZ95zq5WlampqfMWKFUN6j1jMeW3bHlZtaeK1rXtYu3UP63fspSsSA8AMJo8cxvSxFbjHr1nekdjo7mzppKmte7/3KwkVMaO6gpnjhjOuspSKkmLKS0OUh0O0dkWpa2qjdlc7tU1ttHbGewXDwiGGlRQTLjKi7kRjTiTqdEdjdEVj+22QMUhueouKjLLiEGXhIsrCIcrCIczAPd7ziDl0dEdp64rS1hWhtTNKVzQ2pJ9XUnlJiOGl8WCJerJeJxqLEUus3wGcfcFRWhzaL9Diy4oSgWcUmVEcsn29MAPMjHCRMbysmIrSYoaXFsfb2aue3h235GuTuqMxOiMxOrujdEZjRKNO1B13iMYcM/jGqxcwsnvHe9raOmwiz3xi2X4/55JQEaGedSduhxPLwz3anKthGYs5DS2d7/7O7mrj5drdvPjWLvZ0RAA4anwln3v/YZx//GSqhoUDrlgGysxWuntNn48HFQBmFgJWAO+4+7n9PTcVAXAg3dEYbza2sqm+hU318f/mt+xqI2RQFg5RWhzfEIwZXsK4yjLGVZYybkQp08ZUcNjocopD2bvDq6M7yu62bpraumhq66KlI0J7IiRaOyPE3BMb6PjGOlQE3dH4Bj4Si4dQS2eElo4ILZ0R2rqi+3otxaH4xrzI4hvf5PY3EvV4gCXCrDMSozMS3bcsEo2HXsydSMz3Cw+AzkiM1q4IrZ0RuqND/70sSYaOGUWJegFWxi6iiPe+f8yNGZ33HfL6QkVGSaho388jGU5l4RDDS0P7emjFoXiYJHtwPYMwyYmHa1L8+YnviTaFQpb4HIxYIuRiB/h7diCS+PknP5uWzgh7OrrZ2xFhb0eEaGz/182oruD900dz4rTRnDR9tPaj5aiDBUCQQ0D/B1gHjAiqgHCoiCPHV+blaepl4RATqkJMqCoLupRD0hmJ0tG1fy/Ge2203fdlx76NZbLHEd8Q9/Ef+X9MiQ/79BIbMZnHFpwa7/l1RelIhFcs5vt6bNFYPLzivbcYXYkeXGd3jK5odF+PMrkdjjmJ4I33zNq6IonXx3tQyQ3vvpa57+vmxAPk3XbGe3vxkI71qCfq/m6gJF/YS0koPrQYDsV7LxNGlHHk+Eoqy4qpLCtmQtUwpowaxtRR5UweOUxTMxaIQALAzKYA5wA/BL4RRA2S3UqLQ+nbuXjGd/ffBwAQHkbxR6/l6AmB/T8iknFBjWFcD1wDpGagWmQw5l4E590AVVMBi38/7wbtAJaCk/EegJmdC9S7+0ozm9/P8y4HLgc47LDDMlSdFIy5F2mDLwUviB7Ah4BPmtlbwGLgdDO7t/eT3P02d69x95rqak0iISKSahkPAHf/lrtPcfdpwGeBp9z985muQ0Sk0GXvcYwiIpJWgZ4J7O5PA08HWYOISKFSD0BEpEApAEREClROXAvIzBqAt3ssqgKaB3h7LNA4hNX3fM/BPudAy3sv6+9+8nbPZUNpz1Da0tdjA6m/r9vpbkt/z8umtvRX50Ceo98zfTZ9eZ+7930Ypbvn3Bdw20BvAytSta7BPudAy3sv6+9+jzb0XHbI7RlKWw6lPen8bAbSllR+Nvo9K8zfs3z7bHp/5eoQ0KODvJ2qdQ32OQda3ntZf/cf7eM5h2oobenrsYHU39/tQzXQ90jVZ6Pfs4HLp9+zgb5Prnw2+8mJIaChMLMV3s/V8HJNPrVHbcle+dSefGoLpLY9udoDGIzbgi4gxfKpPWpL9sqn9uRTWyCF7cn7HoCIiBxYIfQARETkABQAIiIFSgEgIlKgCjoAzOxUM7vFzH5hZs8FXc9QmFmRmf3QzG40s0uDrmeozGy+mT2b+HzmB13PUJlZhZmtSMyHkdPMbFbic1lqZn8fdD1DYWbnm9ntZvbfZvaxoOsZCjObYWZ3mNnSgb4mZwPAzO40s3oze7XX8rPNbL2ZbTKzRf29h7s/6+5XAL8F7klnvf1JRVuATwFTgG6gLl21DkSK2uNAC1BGgO1JUVsA/glYkp4qBy5FfzfrEn83FxGf3yMQKWrLb9z9K8AVwMXprLc/KWrLZndfOKgVp+qMskx/AR8G5gGv9lgWAt4AZgAlwGpgNjCH+Ea+59e4Hq9bAlTmcluARcDfJV67NNc/G6Ao8brxwH053paPEp/74jLg3Fz/bBKv+STwB+Bzud6WxOt+CszLk7YM+O8/0MtBD4W7Lzezab0WnwRscvfNAGa2GPiUu/8rcMCut5kdBjS7+940ltuvVLTFzOqArsTdaPqqPbhUfTYJTUBpOuociBR9NvOBCuJ/vO1m9nt3D2Q+7FR9Nu7+CPCImf0O+FX6Ku5bij4bA34E/MHdV6W34r6l+G9mwHI2APowGajtcb8OeP9BXrMQuCttFR26wbblIeBGMzsVWJ7Owg7RoNpjZhcAZwEjgZ+lt7RBG1Rb3P3bAGZ2GdAY1Ma/H4P9bOYDFxAP5t+ntbLBG+zfzZXAmUCVmR3u7reks7hBGuznMgb4IXC8mX0rERT9yrcAGDR3vzboGlLB3duIh1lecPeHiIda3nD3u4OuIRU8jyZycvcbgBuCriMV3H0n8X0ZA5azO4H78A4wtcf9KYlluSif2gL51Z58agvkV3vUlkHItwB4ETjCzKabWQnxHW+PBFzTocqntkB+tSef2gL51R61ZTCC2uudgr3m9wPbePewx4WJ5Z8ANhDfe/7toOsstLbkW3vyqS351h61ZehfuhiciEiByrchIBERGSAFgIhIgVIAiIgUKAWAiEiBUgCIiBQoBYCISIFSAEjOMrOWDK8vJXNGJOY6aDazl83sdTP7twG85nwzm52K9YskKQBEEsys32tjufvJKVzds+7+N8DxwLlmdrDr6p9P/E89lHgAAAKGSURBVGqiIimjAJC8YmYzzewxM1tp8RnFjk4sP8/Mnjezl8zsCTMbn1h+nZn90sz+DPwycf9OM3vazDab2VU93rsl8X1+4vGlif/g70tcVhgz+0Ri2Uozu8HMfttfve7eDrxM/MqPmNlXzOxFM1ttZg+aWbmZnUz8+vs/SfQaZvbVTpHBUABIvrkNuNLdTwD+Ebgpsfx/gA+4+/HAYuCaHq+ZDZzp7n+buH808UtRnwRca2bhA6zneOBridfOAD5kZmXArcDHE+uvPlixZjYKOIJ3L+H9kLuf6O7HAeuIXxLgOeLXgLna3f/G3d/op50iA1bwl4OW/GFmw4GTgQcS/5DDu5PJTAH+28wmEp9d6c0eL30k8Z940u/cvRPoNLN64rOS9Z6W8gV3r0us92VgGvEpLDe7e/K97wcu76PcU81sNfGN//Xuvj2x/Fgz+wHxeRCGA38cZDtFBkwBIPmkCNidGFvv7Ubg3939kcSEJtf1eKy113M7e9yOcuC/k4E8pz/Puvu5ZjYd+KuZLXH3l4G7gfPdfXViApn5B3htf+0UGTANAUnecPc9wJtmdiHEp/szs+MSD1fx7rXUL01TCeuBGT2m9jvoJOOJ3sKPiE8aD1AJbEsMOy3o8dS9iccO1k6RAVMASC4rN7O6Hl/fIL7RXJgYXlkLfCrx3OuID5msBBrTUUxiGOmrwGOJ9ewFmgfw0luADyeC4zvA88Cfgdd7PGcxcHViJ/ZM+m6nyIDpctAiKWRmw929JXFU0M+Bje7+H0HXJXIg6gGIpNZXEjuF1xIfdro14HpE+qQegIhIgVIPQESkQCkAREQKlAJARKRAKQBERAqUAkBEpEApAERECtT/B4DswxpWcFEvAAAAAElFTkSuQmCC\n"
          },
          "metadata": {
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "print('5 epoch done')\n",
        "#test model ouput\n",
        "prompt = \"\"\"꾸준함\"\"\"\n",
        "prompt_ids = tokenizer.encode(prompt)\n",
        "inp = tensor(prompt_ids)[None].cuda()\n",
        "for i in range(5):\n",
        "  preds = learn.model.generate(inp,\n",
        "                           max_length=100,\n",
        "                            repetition_penalty=2.0,\n",
        "                            pad_token_id=tokenizer.pad_token_id,\n",
        "                            eos_token_id=tokenizer.eos_token_id,\n",
        "                            bos_token_id=tokenizer.bos_token_id,\n",
        "                            use_cache=True,\n",
        "                            temperature=1.1,\n",
        "                            top_k=50,\n",
        "                            top_p=0.8,\n",
        "                            do_sample=True\n",
        "                          ) \n",
        "  generated = tokenizer.decode(preds[0,:].tolist())\n",
        "  print('{}. {}'.format(i, generated))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "hTmUrLwQcerr",
        "outputId": "07d4fdf3-ea04-4812-83f0-3a4ef2bcdf0c"
      },
      "execution_count": 68,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "5 epoch done\n",
            "0. 꾸준함도 느껴져서 제 장점을 살릴 수 있었습니다. 하지만 저는 단점을 보완하기 위해 다른 방법을 모색하다가 결국 실패하게 되었습니다 그 후에 많은 도전을 해보았는데 제가 성공했던 경험은 거의 없었기에 이 도전들은 실패로 끝날 뻔한 것이 가장 아쉬웠었 으며 새로운 방법이라는 것에 대한 두려움은 오히려 도전하는 것을 즐기는 것으로 만들었음 합니다. 첫 번째로는 SKY 멤버십을 유지하며 다양한 모바일 서비스를 만들어 보았지만 한계가 있어 어려움을 겪었고 이를 극복하기 위하여\n",
            "1. 꾸준함/소신 있는 행동으로 좋은 팀워크를 유지하며 목표를 향해 꾸준히 나아가고 있습니다. 항상 현재에 안주하지 않고 도전하는 자세로 새로운 목표들을 끊임없이 설정하며 발전하고 있으며, 앞으로도 이러한 자세를 유지하여 끊임없는 자기계발을 하고 싶습니다. 저는 어렸을 때부터 가족과 함께 웃으며 지냈는데 어떤 때는 가족이 행복할 수 있을지도 생각해보지 않은 채로 슬슬 주변 사람들의 얘기를 들어주고 참여하려 노력하기도 했었습니다만, 이런 식으로 긍정적인 에너지를 전달하다 보면 주변에 좋지 못한 영향이 가거나 가족들의\n",
            "2. 꾸준함에도 불구하고, 저의 단점은 끊임없이 부족한 점을 찾고 고쳐나가는 점입니다. 제 장점인 추진력과 꼼꼼함을 바탕으로 하나은행 인수합병을 이끌어냈습니다. 그 결과, 지난해 말 현재 우리금융에서 임원을 맡고있는 총 9명 중 4등이라는 상위권의 성적을 거두었습니다 관련분야에 대한 역량과 IT시스템 개발경험이 가장 풍부하다는 뜻밖을 보여주기 때문에 입사하게 되었다면 전공 지식을 넘어 실무적인 감각을 익혀 어떠한 어려움을 직면하더라도 포기하지 않고 돌파해내는 강점이\n",
            "3. 꾸준함보다 더 중요하다고 생각합니다. 입사 후 조직에 대한 자부심과 책임감을 느끼고, 그에 걸맞은 성과를 보여드리겠습니다. 어렸을 때 즐겨하던 만화도 많았고 그래서 저는 게임에 대해 관심이 없었었습니다만 초등학교 6학년때, 한 포털사이트에서 다운로드받은 만화를 보고 흥미를 느끼게 되었고 그걸 바탕으로 PC잡지를 구입하여 연재하고 있었습니다.\n",
            "그런데 이게 괜찮았던 이유는 다른 종류의 게임이 워낙 다양하기 때문입니다. 그리고 웹툰을 접한\n",
            "4. 꾸준함도 느끼고 실수를 하는 일도 종종 있었지만 제가 생각한 바로는 `어떤 일을 했으면 어떡하지?`라는 생각을 갖고 있으면 안 되고 꾸준히 해야 한다는 것을 배웠습니다. 항상 일의 우선순위를 두고 천천히 진행하였기에 주위에서 좋은 평가를 해주었습니다 또한 주변 사람들에게 부탁을 많이 해 주었기 때문에 앞으로 이러한 방식을 통해 좀 더 유연하게 바뀌겠지만 제 목표와 같았다고 생각합니다. 이를 바탕으로 팀의 분위기를 잘 이끌어갈 수 있는 개발자가 되겠다는 목표를 세웠고 저는\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pwd"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "dvBkqfel5Czk",
        "outputId": "d6cc6f8e-021b-4348-9073-4fc7bf44f828"
      },
      "execution_count": 69,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "/content/drive/MyDrive/Colab Notebooks/jasome-fast\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "torch.save(model, \"./models/processed/all_5epoch.pt\")"
      ],
      "metadata": {
        "id": "K4JM8KDuZTd3"
      },
      "execution_count": 70,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "learn.fit_one_cycle(5, lr) # 5에포크\n",
        "print('10 epoch done')\n",
        "prompt2 = \"\"\"꾸준함\"\"\"\n",
        "prompt_ids2 = tokenizer.encode(prompt)\n",
        "inp2 = tensor(prompt_ids)[None].cuda()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 225
        },
        "id": "sjy03hkQoN5Y",
        "outputId": "20ff1552-ddb1-466e-e14e-81e681537de6"
      },
      "execution_count": 71,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "<style>\n",
              "    /* Turns off some styling */\n",
              "    progress {\n",
              "        /* gets rid of default border in Firefox and Opera. */\n",
              "        border: none;\n",
              "        /* Needs to be in here for Safari polyfill so background images work as expected. */\n",
              "        background-size: auto;\n",
              "    }\n",
              "    progress:not([value]), progress:not([value])::-webkit-progress-bar {\n",
              "        background: repeating-linear-gradient(45deg, #7e7e7e, #7e7e7e 10px, #5c5c5c 10px, #5c5c5c 20px);\n",
              "    }\n",
              "    .progress-bar-interrupted, .progress-bar-interrupted::-webkit-progress-bar {\n",
              "        background: #F44336;\n",
              "    }\n",
              "</style>\n"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>epoch</th>\n",
              "      <th>train_loss</th>\n",
              "      <th>valid_loss</th>\n",
              "      <th>perplexity</th>\n",
              "      <th>time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>0</td>\n",
              "      <td>1.948545</td>\n",
              "      <td>2.432673</td>\n",
              "      <td>11.389285</td>\n",
              "      <td>01:22</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>1.722902</td>\n",
              "      <td>2.155512</td>\n",
              "      <td>8.632308</td>\n",
              "      <td>01:19</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>1.367704</td>\n",
              "      <td>1.895157</td>\n",
              "      <td>6.653590</td>\n",
              "      <td>01:20</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>1.126724</td>\n",
              "      <td>1.707356</td>\n",
              "      <td>5.514365</td>\n",
              "      <td>01:20</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>4</td>\n",
              "      <td>1.012052</td>\n",
              "      <td>1.631314</td>\n",
              "      <td>5.110585</td>\n",
              "      <td>01:20</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "10 epoch done\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "for i in range(5):\n",
        "  preds = learn.model.generate(inp2,\n",
        "                           max_length=100,\n",
        "                            repetition_penalty=2.0,\n",
        "                            pad_token_id=tokenizer.pad_token_id,\n",
        "                            eos_token_id=tokenizer.eos_token_id,\n",
        "                            bos_token_id=tokenizer.bos_token_id,\n",
        "                            use_cache=True,\n",
        "                            temperature=1.1,\n",
        "                            top_k=50,\n",
        "                            top_p=0.8,\n",
        "                            do_sample=True\n",
        "                          ) \n",
        "  generated = tokenizer.decode(preds[0,:].tolist())\n",
        "  print('{}. {}'.format(i, generated))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "HNF8Fvg-uXXy",
        "outputId": "d30a7d2a-f281-4a11-d721-ea32890edfa0"
      },
      "execution_count": 72,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0. 꾸준함에도 불구하고 학우들은 고개를 갸웃거립니다 저의 대학 진학 시 컴퓨터공학을 전공으로 선택하였습니다. 그 이유는 학부과정을 통해 소프트웨어를 개발하기 위함이었고 또한 운영체제 프로세스를 스스로 공부하였기 때문입니다. 그러므로 졸업 작품 발표가 끝나고 소프트웨어 엔지니어 과목의 프로젝트 성과발표회에서 우수상을 수상할 수 있었습니다, 프로그래밍과 시스템프로젝트를 하며 사람들을 즐겁게 하였고 사람들에게 편리함을 주었음에 너무나도 행복했었습니다.” 이러한 경험을 통해서 사람들은 더 큰\n",
            "1. 꾸준함 또한 저의 장점입니다. 어떠한 역경에서도 무너지지 않는 끈기와 노력은 소통의 벽을 허물었습니다. 2015년 OO전자에서 인턴십을 진행하며 팀 프로젝트 기획에 참여하고 결과물을 완성하였습니다 처음엔 전공지식으로는 부족해 실무적인 역량을 갖추기 위해 학부 2학년 과대표로서 선배님들과 네트워크를 형성할 수 있는 경험이 필요하다고 생각하여 정보통신대학에 진학하게 되었습니다. 또한,한 달간 SI 업체인 TCL 인턴과정을 통해 프로그래밍 실력도 키울\n",
            "2. 꾸준함에도 늘 부족함이 있다고 생각이 들어 인턴을 하게 되었습니다. 부족한 역량을 채우기 위해 월드 IT 쇼를 참관하고 IBM에서 주관하는 '글로벌 컴퓨팅 솔루션 페어' 라는 행사를 참가하였습니다 저는 주어진 일에 대해 책임감을 가지면서 일을 진행하려고 노력하고 있습니다. 또한 팀의 성과를 위해서 고심하며 계획을 세우고 노력을 합니다. 제가 맡은 일은 더욱 좋은 결과물을 만들어 내고 다른 사람들에게 행복을 나누어 주는 것이 목표입니다. 이 목표를 가지게 된 시기는 대학교 1학년 때 입\n",
            "3. 꾸준함에도 불구하고 저와 동기의 역할은 언제나 달랐습니다. 막연히 스타트업을 준비하는 대학생에게 동기유니트는 장난감이라는 것을 알았 다. 그 후로 개발자는 꿈을 포기하고 스스로 길을 개척하는 쪽으로 마음을 먹었습니다 중기적합자 전문가로의 진로를 목표로 세운 이상 초심으로 돌아가 다시 공부하겠습니까? 제게 가장 어려웠던 점은 아직은 기술력이 부족한 것이란 점이었습니다.\n",
            "그래서 주변에 있는 모바일개발자들의 멘토링을 도왔고 그중에서도\n",
            "4. 꾸준함에도 불구하고 무언가를 이루기 위해서는 끝없는 노력을 해야 했습니다. 이러한 저의 성격 때문에 공모전에 지원하게 되었고, 더 나아가 독서동아리에 가입해 지속적으로 공부를 하였습니다 외롭고 힘든 도전이었다면 그 과정은 한 번도 해보지 못한 소중한 경험이었을 것입니다. 그럼에도 불구하고, 이 경험을 통해서 실패를 두려워하지 않고 끊임없이 도전하는 정신을 배울 수 있었음에 큰 감동하였기에, 책을 통해 스스로에 대한 동기부여가 되어 어떠한 일을 하더라도 끈기 있게 최선을 다할 준비가 되었음을 알게되었으리라 생각\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "torch.save(model, \"./models/processed/all_10epoch.pt\")\n",
        "torch.save(model.state_dict(), './models/processed/all_10epoch_dict.pt')"
      ],
      "metadata": {
        "id": "Oqxgz655pmAf"
      },
      "execution_count": 74,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "learn.fit_one_cycle(5, lr) \n",
        "print('15 epoch done')\n",
        "prompt2 = \"\"\"꾸준함\"\"\"\n",
        "prompt_ids2 = tokenizer.encode(prompt)\n",
        "inp2 = tensor(prompt_ids)[None].cuda()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 225
        },
        "id": "Bw-iv9ndc7pm",
        "outputId": "0e54e132-4c0e-46cf-9108-4b14b6f2e286"
      },
      "execution_count": 75,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "<style>\n",
              "    /* Turns off some styling */\n",
              "    progress {\n",
              "        /* gets rid of default border in Firefox and Opera. */\n",
              "        border: none;\n",
              "        /* Needs to be in here for Safari polyfill so background images work as expected. */\n",
              "        background-size: auto;\n",
              "    }\n",
              "    progress:not([value]), progress:not([value])::-webkit-progress-bar {\n",
              "        background: repeating-linear-gradient(45deg, #7e7e7e, #7e7e7e 10px, #5c5c5c 10px, #5c5c5c 20px);\n",
              "    }\n",
              "    .progress-bar-interrupted, .progress-bar-interrupted::-webkit-progress-bar {\n",
              "        background: #F44336;\n",
              "    }\n",
              "</style>\n"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>epoch</th>\n",
              "      <th>train_loss</th>\n",
              "      <th>valid_loss</th>\n",
              "      <th>perplexity</th>\n",
              "      <th>time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>0</td>\n",
              "      <td>1.038231</td>\n",
              "      <td>1.580587</td>\n",
              "      <td>4.857807</td>\n",
              "      <td>01:19</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>0.937498</td>\n",
              "      <td>1.403528</td>\n",
              "      <td>4.069530</td>\n",
              "      <td>01:18</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>0.723240</td>\n",
              "      <td>1.175914</td>\n",
              "      <td>3.241105</td>\n",
              "      <td>01:18</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>0.573238</td>\n",
              "      <td>1.012941</td>\n",
              "      <td>2.753689</td>\n",
              "      <td>01:19</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>4</td>\n",
              "      <td>0.500191</td>\n",
              "      <td>0.950381</td>\n",
              "      <td>2.586696</td>\n",
              "      <td>01:18</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "15 epoch done\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "for i in range(5):\n",
        "  preds = learn.model.generate(inp2,\n",
        "                           max_length=100,\n",
        "                            repetition_penalty=2.0,\n",
        "                            pad_token_id=tokenizer.pad_token_id,\n",
        "                            eos_token_id=tokenizer.eos_token_id,\n",
        "                            bos_token_id=tokenizer.bos_token_id,\n",
        "                            use_cache=True,\n",
        "                            temperature=1.1,\n",
        "                            top_k=50,\n",
        "                            top_p=0.8,\n",
        "                            do_sample=True\n",
        "                          ) \n",
        "  generated = tokenizer.decode(preds[0,:].tolist())\n",
        "  print('{}. {}'.format(i, generated))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "tksKxYD7dJm0",
        "outputId": "82d7d016-1ee3-4a20-d533-b24697cdd83d"
      },
      "execution_count": 76,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0. 꾸준함-소속감을 찾기, 동료와의 소통, 조별과제에서 우수한 성적을 얻기를 희망합니다. 학창시절 학급 임원, 프로젝트 리더 등 여러 관계자를 경험하며 다양한 경험과 강점을 얻었고, 이를 통해 얻은 협업능력과 융합역량을 바탕으로 최고의 가치 있는 일을 하고 싶다는 생각을 하게 되었습니다. 이러한 저의 열정과 창의성을 기반으로 <귀사>에서 성장해나갈 것입니다. 작년 교내에서 개최한 잡페스티벌에서 금융IT상담부스를 방문한 적이 있습니다. 많은 기업들에서 IT\n",
            "1. 꾸준함 저는 사람을 대할 때 상대방을 항상 배려합니다. 그러므로 상대방이 불편함을 겪지 않도록 꼼꼼하게 대화를 이끌어야 합니다. 대학 시절, ‘남의 부탁을 거절하지 못해 낭패를 볼 수도 있다’는 내용의 문자메시지를 아르바이트를 하면서받았습니다. 누군가의 요구대로 정직하게 옳은 길을 택하여 앞으로 나아가는 모습이 매력적이었습니다 또한 상대방의 입장을 생각하면 타인의 의견을 헤아릴 수 있습니다. 제 성격 형성의 가장 큰 영향을 끼친 것은 대외활동이라 생각했기에 여러 활동을 했었다면 비교적\n",
            "2. 꾸준함 저는 항상 새로운 목표들을 가지고 열정적으로 행동합니다. 스스로를 점검하기 위해 볼펜과 수첩을 들고 다니면서 메모를 하는 습관을 갖고 있습니다. 대학교 때 대학생 프로그래밍 경진대회에 참가하면서 호기심을 느끼게 되었고, 논리적인 예민함과 열정을 갖게 되었습니다. 대학원 때는 제안서를 작성하며 차량통신과의 아이디어를 창출하였고 시뮬레이션을 통한 지형 및 위치 정보 설계프로젝트 경험을 통해 알고리즘에 대한 역량을 키웠습니다 웹/모바일개발 직무를 수행하기 위해서는 먼저 IT 기본통계\n",
            "3. 꾸준함도 느꼈고 결과적으로 저희 팀의 목표는 리더인 친구들에게 인정받아서 동아리 회장이라는 직책을 획득하였습니다. 같은 목표를 지향하고 있다고 생각하고 서로 발전하는 모습이 매우 멋있어서 많이 어울릴 수 있었지만 이런 성과에도 불구하고 각자 바쁘고, 또 힘들 것 같다고 생각해서 제가 역할을 나누어 맡는 게 맞는 건가 의구심이 들었습니다.”라고 생각을 함으로써 스스로 책임감을 키우게 되었다 **복지재단 후원활동을 통해서 이러한 부분에 대해서 깨닫게 되었고 정말 필요한 곳에 도움이 되는 것도 느끼고 싶\n",
            "4. 꾸준함 또한 저의 장점입니다. 한번 잡은 단어는 반드시 복붙여야 한다는 가치관을 가지고 있습니다. 그러므로 한 눈에 알 수 있는 단어가 있다면 그에 대해 체계적으로 정리하는 것이 필요하다고 생각합니다. 학부 시절, ‘논리회로’, ‘자바’ 등 끊임없이 논문을 작성하였고 이를 바탕으로 정보처리기사를 취득하였습니다. 또한, 대학 졸업 후에는 OO사단 전산병으로 군 전역을 하자마자 보안병에 지원하게 되었습니다,. 입대 전 해당 분야는 실무능력이 가장 중요하다고 생각했기 때문입니다만, 이 분야를 제대로 익혀 어떠한 사람이\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "torch.save(model, \"./models/processed/all_15epoch.pt\")\n",
        "torch.save(model.state_dict(), './models/processed/all_15epoch_dict.pt') "
      ],
      "metadata": {
        "id": "SQREGWh81OiC"
      },
      "execution_count": 77,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "learn.fit_one_cycle(5, lr) \n",
        "print('20 epoch done')\n",
        "prompt2 = \"\"\"꾸준함\"\"\"\n",
        "prompt_ids2 = tokenizer.encode(prompt)\n",
        "inp2 = tensor(prompt_ids)[None].cuda()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 225
        },
        "id": "MhncLofk1Ryl",
        "outputId": "f8081e82-b2a6-4ad7-a827-29f4d2a73340"
      },
      "execution_count": 78,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "<style>\n",
              "    /* Turns off some styling */\n",
              "    progress {\n",
              "        /* gets rid of default border in Firefox and Opera. */\n",
              "        border: none;\n",
              "        /* Needs to be in here for Safari polyfill so background images work as expected. */\n",
              "        background-size: auto;\n",
              "    }\n",
              "    progress:not([value]), progress:not([value])::-webkit-progress-bar {\n",
              "        background: repeating-linear-gradient(45deg, #7e7e7e, #7e7e7e 10px, #5c5c5c 10px, #5c5c5c 20px);\n",
              "    }\n",
              "    .progress-bar-interrupted, .progress-bar-interrupted::-webkit-progress-bar {\n",
              "        background: #F44336;\n",
              "    }\n",
              "</style>\n"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>epoch</th>\n",
              "      <th>train_loss</th>\n",
              "      <th>valid_loss</th>\n",
              "      <th>perplexity</th>\n",
              "      <th>time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>0</td>\n",
              "      <td>0.526386</td>\n",
              "      <td>0.958798</td>\n",
              "      <td>2.608559</td>\n",
              "      <td>01:19</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>0.502813</td>\n",
              "      <td>0.813226</td>\n",
              "      <td>2.255172</td>\n",
              "      <td>01:18</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>0.379892</td>\n",
              "      <td>0.652320</td>\n",
              "      <td>1.919991</td>\n",
              "      <td>01:18</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>0.291386</td>\n",
              "      <td>0.546851</td>\n",
              "      <td>1.727804</td>\n",
              "      <td>01:20</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>4</td>\n",
              "      <td>0.245062</td>\n",
              "      <td>0.504599</td>\n",
              "      <td>1.656321</td>\n",
              "      <td>01:30</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "20 epoch done\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "for i in range(5):\n",
        "  preds = learn.model.generate(inp2,\n",
        "                           max_length=100,\n",
        "                            repetition_penalty=2.0,\n",
        "                            pad_token_id=tokenizer.pad_token_id,\n",
        "                            eos_token_id=tokenizer.eos_token_id,\n",
        "                            bos_token_id=tokenizer.bos_token_id,\n",
        "                            use_cache=True,\n",
        "                            temperature=1.1,\n",
        "                            top_k=50,\n",
        "                            top_p=0.8,\n",
        "                            do_sample=True\n",
        "                          ) \n",
        "  generated = tokenizer.decode(preds[0,:].tolist())\n",
        "  print('{}. {}'.format(i, generated))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "JwK-8uma1Ryn",
        "outputId": "6987dfa9-0557-44e0-9d84-cda95af6f841"
      },
      "execution_count": 79,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0. 꾸준함에도 매일 업무 분담을 주장하는 것은 무리라고 생각합니다. 대학교 때 전공 공부 외에도 알고리즘 이해를 위해 국제프로그래밍경진대회(ACM-ICPC)를 준비했습니다. 과 소모임에 주기적으로 참여하였습니다 동아리 활동 중에 새로운 사람을 만나는 게 싫어서 남들과 다른 아르바이트를 하기 시작하였고 이 때문에 저 자신에게 더욱 상처를 받은 적이 있었습니다.” 하지만 제가 이를 해결했을 때, 자신감을 얻어 혼자 시험공부를 하기로 하였기에 주변 친구들은 “대학시험 더 어렵다”는\n",
            "1. 꾸준함도 느끼지만 맡은 일에 대해 책임감을 갖고 끝까지 해내려고 노력하고 있습니다. 통신병으로 2년간 군 복무를 하며 부대 내 네트워크 망을 관리했습니다. 과로에 대한 피로감이 있었고 이 때문에 잦은 부대로 배치받아 일하기도 했었습니다 2014년 3월 9일 자 <귀사>에 입사하였음에 불구하고 여전히 부족한 인재로 생각됩니다. 신입사원에게 어떤 업무를 하고 싶은지 물어봤는데. 저는 말보다는 행동이 신뢰를 얻는다고 생각하여 컴퓨터공학부에 진학하게 되었합니다. 그렇게 전공\n",
            "2. 꾸준함 그 이상을 느낀 경험은 없습니다. 하지만 <귀사>은 저에게 최고의 무대라고 생각하여 항상 도전하고 성취하는 자세로 임할 것입니다. 또한 2년차에 신입사원으로서 안전사고 예방 및 차량과 관련된 IT에 대해 전문가로 거듭나겠습니다 고기도 먹어 본 사람이 잘 먹는다는 말이 있습니다. 그렇게 많이 먹다가 점점, 더 자주 먹은다고 하던 김치버거가 생각났고, 이후로도 꾸준히 즐겨먹게 되었었습니다.” 라는 말을 들으며 한 때 버거의 맛집 1위였던\n",
            "3. 꾸준함에도 학창시절을 되돌아보았을 때, 가장 기억의 남는 시기는 3학년 때 입시를 앞두고 영어 공부에 매진하여 해외축구를 즐겨보며 보냈던 시기입니다. 그때의 그런 성격은 지금도 변함이 없다고 저는 생각합니다. 그렇게 어렸을 때부터 운동을 좋아하여 태권도, 수영 등 단체 운동도 즐겼고, 그 안에서 조직력과 인내심을 키웠습니다. 고등학교 진학 후에도 학교 씨름대회에 나가서 우수상을 수상했고, 프로그래밍 언어 및 실습, 택견 등의 교육을 받았 있습니다. 중학교 시절에는 학원비가\n",
            "4. 꾸준함도 느낄 수 있었고 책임감 또한 배울 점이 많았습니다. 모바일프로그래밍-A+ 카드사마다 결제 후 사용금액과시간 등에 대한 문자 정보가 다르게 온다는 점에 착안하여 카카오페이와 O2O 기반 애플리케이션을 개발하게 되었습니다, 3년 동안 웹과 IT의 융합 전문가로 탄탄한 배경 지식을 쌓았기에 개발에 흥미를 느끼게 되었고 실제로 적용해보고 싶었다 생각이 들었던 겁니다. 이를 위해 관련 서적을 참고하고 친구들과 창업캠프까지 진행하며\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "torch.save(model, \"./models/processed/all_20epoch.pt\")\n",
        "torch.save(model.state_dict(), './models/processed/all_20epoch_dict.pt') "
      ],
      "metadata": {
        "id": "lNVeIGBv1Ryn"
      },
      "execution_count": 80,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "learn.fit_one_cycle(5, lr) \n",
        "print('25 epoch done')\n",
        "prompt2 = \"\"\"꾸준함\"\"\"\n",
        "prompt_ids2 = tokenizer.encode(prompt)\n",
        "inp2 = tensor(prompt_ids)[None].cuda()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 225
        },
        "id": "Cx807NX91TeW",
        "outputId": "3350a268-40d4-44f4-90be-c0cb15093b07"
      },
      "execution_count": 81,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "<style>\n",
              "    /* Turns off some styling */\n",
              "    progress {\n",
              "        /* gets rid of default border in Firefox and Opera. */\n",
              "        border: none;\n",
              "        /* Needs to be in here for Safari polyfill so background images work as expected. */\n",
              "        background-size: auto;\n",
              "    }\n",
              "    progress:not([value]), progress:not([value])::-webkit-progress-bar {\n",
              "        background: repeating-linear-gradient(45deg, #7e7e7e, #7e7e7e 10px, #5c5c5c 10px, #5c5c5c 20px);\n",
              "    }\n",
              "    .progress-bar-interrupted, .progress-bar-interrupted::-webkit-progress-bar {\n",
              "        background: #F44336;\n",
              "    }\n",
              "</style>\n"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>epoch</th>\n",
              "      <th>train_loss</th>\n",
              "      <th>valid_loss</th>\n",
              "      <th>perplexity</th>\n",
              "      <th>time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>0</td>\n",
              "      <td>0.271612</td>\n",
              "      <td>0.536124</td>\n",
              "      <td>1.709368</td>\n",
              "      <td>01:22</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>0.281130</td>\n",
              "      <td>0.475656</td>\n",
              "      <td>1.609070</td>\n",
              "      <td>01:21</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>0.212054</td>\n",
              "      <td>0.384629</td>\n",
              "      <td>1.469069</td>\n",
              "      <td>01:22</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>0.160505</td>\n",
              "      <td>0.327979</td>\n",
              "      <td>1.388159</td>\n",
              "      <td>01:22</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>4</td>\n",
              "      <td>0.133881</td>\n",
              "      <td>0.309473</td>\n",
              "      <td>1.362707</td>\n",
              "      <td>01:21</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "25 epoch done\n"
          ]
        }
      ]
    }
  ]
}