0_2_Google_Colab_tips.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "0.2.Google Colab_tips.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "toc_visible": true,
      "authorship_tag": "ABX9TyME5p12NMYQnH97NCB4dW4T",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/uoneway/Notion-to-GitHub-Pages/blob/master/0_2_Google_Colab_tips.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ig0qwHkEZ0O_",
        "colab_type": "text"
      },
      "source": [
        "Written by uoneway(Kim Hangil)   \n",
        "https://github.com/uoneway/python_note"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ltEJNX0GxHUg",
        "colab_type": "text"
      },
      "source": [
        "## Google Colaboratory 이란?\n",
        "- https://colab.research.google.com 접속\n",
        "\n",
        "### 왜 Colab을 사용해야 하는가? \n",
        "- Google Colab = Jupyter Notebook + **GPU**\n",
        "- 링크만으로 접근 / 협업 가능\n",
        "- 자주 사용하는 DL 관련 모듈이 기본 설치되어 있음\n",
        "\n",
        "### 단점\n",
        "- 실행중에 창을 꺼도 계속 실행됨.   \n",
        "단 아무것도 안 하는 idle 상태 돌입 이후 90분에 런타임 자동으로 shutdown\n",
        "- GPU는 *연속*으로 최대 12시간을 지원   \n",
        "그 이후에도 런타임 재시작으로 VM 교체 후 이용 가능하나 변수 및 초기화됨 -> 구글드라이브 연동 필!\n",
        "- 코드 실행 시 딜레이 존재"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "GJKk4bTbKT8V",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "outputId": "06f11487-5ae5-4194-b1ad-660586c5b431"
      },
      "source": [
        "# 기본으로 깔려있는 라이브러리 목록 확인하기\n",
        "!pip list"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Package                  Version        \n",
            "------------------------ ---------------\n",
            "absl-py                  0.9.0          \n",
            "alabaster                0.7.12         \n",
            "albumentations           0.1.12         \n",
            "altair                   4.1.0          \n",
            "asgiref                  3.2.10         \n",
            "astor                    0.8.1          \n",
            "astropy                  4.0.1.post1    \n",
            "astunparse               1.6.3          \n",
            "atari-py                 0.2.6          \n",
            "atomicwrites             1.4.0          \n",
            "attrs                    19.3.0         \n",
            "audioread                2.1.8          \n",
            "autograd                 1.3            \n",
            "Babel                    2.8.0          \n",
            "backcall                 0.2.0          \n",
            "beautifulsoup4           4.6.3          \n",
            "bleach                   3.1.5          \n",
            "blis                     0.4.1          \n",
            "bokeh                    1.4.0          \n",
            "boto                     2.49.0         \n",
            "boto3                    1.14.9         \n",
            "botocore                 1.17.9         \n",
            "Bottleneck               1.3.2          \n",
            "branca                   0.4.1          \n",
            "bs4                      0.0.1          \n",
            "CacheControl             0.12.6         \n",
            "cachetools               4.1.0          \n",
            "catalogue                1.0.0          \n",
            "certifi                  2020.6.20      \n",
            "cffi                     1.14.0         \n",
            "chainer                  6.5.0          \n",
            "chardet                  3.0.4          \n",
            "click                    7.1.2          \n",
            "cloudpickle              1.3.0          \n",
            "cmake                    3.12.0         \n",
            "cmdstanpy                0.4.0          \n",
            "colorlover               0.3.0          \n",
            "community                1.0.0b1        \n",
            "contextlib2              0.5.5          \n",
            "convertdate              2.2.1          \n",
            "coverage                 3.7.1          \n",
            "coveralls                0.5            \n",
            "crcmod                   1.7            \n",
            "cufflinks                0.17.3         \n",
            "cvxopt                   1.2.5          \n",
            "cvxpy                    1.0.31         \n",
            "cycler                   0.10.0         \n",
            "cymem                    2.0.3          \n",
            "Cython                   0.29.20        \n",
            "daft                     0.0.4          \n",
            "dask                     2.12.0         \n",
            "dataclasses              0.7            \n",
            "datascience              0.10.6         \n",
            "decorator                4.4.2          \n",
            "defusedxml               0.6.0          \n",
            "descartes                1.1.0          \n",
            "dill                     0.3.2          \n",
            "distributed              1.25.3         \n",
            "Django                   3.0.7          \n",
            "dlib                     19.18.0        \n",
            "docopt                   0.6.2          \n",
            "docutils                 0.15.2         \n",
            "dopamine-rl              1.0.5          \n",
            "earthengine-api          0.1.226        \n",
            "easydict                 1.9            \n",
            "ecos                     2.0.7.post1    \n",
            "editdistance             0.5.3          \n",
            "en-core-web-sm           2.2.5          \n",
            "entrypoints              0.3            \n",
            "ephem                    3.7.7.1        \n",
            "et-xmlfile               1.0.1          \n",
            "fa2                      0.3.5          \n",
            "fancyimpute              0.4.3          \n",
            "fastai                   1.0.61         \n",
            "fastdtw                  0.3.4          \n",
            "fastprogress             0.2.3          \n",
            "fastrlock                0.5            \n",
            "fbprophet                0.6            \n",
            "feather-format           0.4.1          \n",
            "featuretools             0.4.1          \n",
            "filelock                 3.0.12         \n",
            "firebase-admin           4.1.0          \n",
            "fix-yahoo-finance        0.0.22         \n",
            "Flask                    1.1.2          \n",
            "folium                   0.8.3          \n",
            "fsspec                   0.7.4          \n",
            "future                   0.16.0         \n",
            "gast                     0.3.3          \n",
            "GDAL                     2.2.2          \n",
            "gdown                    3.6.4          \n",
            "gensim                   3.6.0          \n",
            "geographiclib            1.50           \n",
            "geopy                    1.17.0         \n",
            "gin-config               0.3.0          \n",
            "glob2                    0.7            \n",
            "google                   2.0.3          \n",
            "google-api-core          1.16.0         \n",
            "google-api-python-client 1.7.12         \n",
            "google-auth              1.17.2         \n",
            "google-auth-httplib2     0.0.3          \n",
            "google-auth-oauthlib     0.4.1          \n",
            "google-cloud-bigquery    1.21.0         \n",
            "google-cloud-core        1.0.3          \n",
            "google-cloud-datastore   1.8.0          \n",
            "google-cloud-firestore   1.7.0          \n",
            "google-cloud-language    1.2.0          \n",
            "google-cloud-storage     1.18.1         \n",
            "google-cloud-translate   1.5.0          \n",
            "google-colab             1.0.0          \n",
            "google-pasta             0.2.0          \n",
            "google-resumable-media   0.4.1          \n",
            "googleapis-common-protos 1.52.0         \n",
            "googledrivedownloader    0.4            \n",
            "graphviz                 0.10.1         \n",
            "grpcio                   1.30.0         \n",
            "gspread                  3.0.1          \n",
            "gspread-dataframe        3.0.7          \n",
            "gym                      0.17.2         \n",
            "h5py                     2.10.0         \n",
            "HeapDict                 1.0.1          \n",
            "holidays                 0.9.12         \n",
            "html5lib                 1.0.1          \n",
            "httpimport               0.5.18         \n",
            "httplib2                 0.17.4         \n",
            "httplib2shim             0.0.3          \n",
            "humanize                 0.5.1          \n",
            "hyperopt                 0.1.2          \n",
            "ideep4py                 2.0.0.post3    \n",
            "idna                     2.9            \n",
            "image                    1.5.32         \n",
            "imageio                  2.4.1          \n",
            "imagesize                1.2.0          \n",
            "imbalanced-learn         0.4.3          \n",
            "imblearn                 0.0            \n",
            "imgaug                   0.2.9          \n",
            "importlib-metadata       1.6.1          \n",
            "imutils                  0.5.3          \n",
            "inflect                  2.1.0          \n",
            "intel-openmp             2020.0.133     \n",
            "intervaltree             2.1.0          \n",
            "ipykernel                4.10.1         \n",
            "ipython                  5.5.0          \n",
            "ipython-genutils         0.2.0          \n",
            "ipython-sql              0.3.9          \n",
            "ipywidgets               7.5.1          \n",
            "itsdangerous             1.1.0          \n",
            "jax                      0.1.69         \n",
            "jaxlib                   0.1.47         \n",
            "jdcal                    1.4.1          \n",
            "jedi                     0.17.1         \n",
            "jieba                    0.42.1         \n",
            "Jinja2                   2.11.2         \n",
            "jmespath                 0.10.0         \n",
            "joblib                   0.15.1         \n",
            "jpeg4py                  0.1.4          \n",
            "jsonschema               2.6.0          \n",
            "jupyter                  1.0.0          \n",
            "jupyter-client           5.3.4          \n",
            "jupyter-console          5.2.0          \n",
            "jupyter-core             4.6.3          \n",
            "kaggle                   1.5.6          \n",
            "kapre                    0.1.3.1        \n",
            "Keras                    2.3.1          \n",
            "Keras-Applications       1.0.8          \n",
            "Keras-Preprocessing      1.1.2          \n",
            "keras-vis                0.4.1          \n",
            "kiwisolver               1.2.0          \n",
            "knnimpute                0.1.0          \n",
            "librosa                  0.6.3          \n",
            "lightgbm                 2.2.3          \n",
            "llvmlite                 0.31.0         \n",
            "lmdb                     0.98           \n",
            "lucid                    0.3.8          \n",
            "LunarCalendar            0.0.9          \n",
            "lxml                     4.2.6          \n",
            "Markdown                 3.2.2          \n",
            "MarkupSafe               1.1.1          \n",
            "matplotlib               3.2.2          \n",
            "matplotlib-venn          0.11.5         \n",
            "missingno                0.4.2          \n",
            "mistune                  0.8.4          \n",
            "mizani                   0.6.0          \n",
            "mkl                      2019.0         \n",
            "mlxtend                  0.14.0         \n",
            "more-itertools           8.4.0          \n",
            "moviepy                  0.2.3.5        \n",
            "mpmath                   1.1.0          \n",
            "msgpack                  1.0.0          \n",
            "multiprocess             0.70.10        \n",
            "multitasking             0.0.9          \n",
            "murmurhash               1.0.2          \n",
            "music21                  5.5.0          \n",
            "natsort                  5.5.0          \n",
            "nbconvert                5.6.1          \n",
            "nbformat                 5.0.7          \n",
            "networkx                 2.4            \n",
            "nibabel                  3.0.2          \n",
            "nltk                     3.2.5          \n",
            "notebook                 5.2.2          \n",
            "np-utils                 0.5.12.1       \n",
            "numba                    0.48.0         \n",
            "numexpr                  2.7.1          \n",
            "numpy                    1.18.5         \n",
            "nvidia-ml-py3            7.352.0        \n",
            "oauth2client             4.1.3          \n",
            "oauthlib                 3.1.0          \n",
            "okgrade                  0.4.3          \n",
            "opencv-contrib-python    4.1.2.30       \n",
            "opencv-python            4.1.2.30       \n",
            "openpyxl                 2.5.9          \n",
            "opt-einsum               3.2.1          \n",
            "osqp                     0.6.1          \n",
            "packaging                20.4           \n",
            "palettable               3.3.0          \n",
            "pandas                   1.0.5          \n",
            "pandas-datareader        0.8.1          \n",
            "pandas-gbq               0.11.0         \n",
            "pandas-profiling         1.4.1          \n",
            "pandocfilters            1.4.2          \n",
            "parso                    0.7.0          \n",
            "pathlib                  1.0.1          \n",
            "patsy                    0.5.1          \n",
            "pexpect                  4.8.0          \n",
            "pickleshare              0.7.5          \n",
            "Pillow                   7.0.0          \n",
            "pip                      19.3.1         \n",
            "pip-tools                4.5.1          \n",
            "plac                     1.1.3          \n",
            "plotly                   4.4.1          \n",
            "plotnine                 0.6.0          \n",
            "pluggy                   0.7.1          \n",
            "portpicker               1.3.1          \n",
            "prefetch-generator       1.0.1          \n",
            "preshed                  3.0.2          \n",
            "prettytable              0.7.2          \n",
            "progressbar2             3.38.0         \n",
            "prometheus-client        0.8.0          \n",
            "promise                  2.3            \n",
            "prompt-toolkit           1.0.18         \n",
            "protobuf                 3.10.0         \n",
            "psutil                   5.4.8          \n",
            "psycopg2                 2.7.6.1        \n",
            "ptyprocess               0.6.0          \n",
            "py                       1.8.2          \n",
            "pyarrow                  0.14.1         \n",
            "pyasn1                   0.4.8          \n",
            "pyasn1-modules           0.2.8          \n",
            "pycocotools              2.0.1          \n",
            "pycparser                2.20           \n",
            "pydata-google-auth       1.1.0          \n",
            "pydot                    1.3.0          \n",
            "pydot-ng                 2.0.0          \n",
            "pydotplus                2.0.2          \n",
            "PyDrive                  1.3.1          \n",
            "pyemd                    0.5.1          \n",
            "pyglet                   1.5.0          \n",
            "Pygments                 2.1.3          \n",
            "pygobject                3.26.1         \n",
            "pymc3                    3.7            \n",
            "PyMeeus                  0.3.7          \n",
            "pymongo                  3.10.1         \n",
            "pymystem3                0.2.0          \n",
            "PyOpenGL                 3.1.5          \n",
            "pyparsing                2.4.7          \n",
            "pyrsistent               0.16.0         \n",
            "pysndfile                1.3.8          \n",
            "PySocks                  1.7.1          \n",
            "pystan                   2.19.1.1       \n",
            "pytest                   3.6.4          \n",
            "python-apt               1.6.5+ubuntu0.3\n",
            "python-chess             0.23.11        \n",
            "python-dateutil          2.8.1          \n",
            "python-louvain           0.14           \n",
            "python-slugify           4.0.0          \n",
            "python-utils             2.4.0          \n",
            "pytz                     2018.9         \n",
            "PyWavelets               1.1.1          \n",
            "PyYAML                   3.13           \n",
            "pyzmq                    19.0.1         \n",
            "qtconsole                4.7.5          \n",
            "QtPy                     1.9.0          \n",
            "regex                    2019.12.20     \n",
            "requests                 2.23.0         \n",
            "requests-oauthlib        1.3.0          \n",
            "resampy                  0.2.2          \n",
            "retrying                 1.3.3          \n",
            "rpy2                     3.2.7          \n",
            "rsa                      4.6            \n",
            "s3fs                     0.4.2          \n",
            "s3transfer               0.3.3          \n",
            "scikit-image             0.16.2         \n",
            "scikit-learn             0.22.2.post1   \n",
            "scipy                    1.4.1          \n",
            "screen-resolution-extra  0.0.0          \n",
            "scs                      2.1.2          \n",
            "seaborn                  0.10.1         \n",
            "Send2Trash               1.5.0          \n",
            "setuptools               47.3.1         \n",
            "setuptools-git           1.2            \n",
            "Shapely                  1.7.0          \n",
            "simplegeneric            0.8.1          \n",
            "six                      1.12.0         \n",
            "sklearn                  0.0            \n",
            "sklearn-pandas           1.8.0          \n",
            "smart-open               2.0.0          \n",
            "snowballstemmer          2.0.0          \n",
            "sortedcontainers         2.2.2          \n",
            "spacy                    2.2.4          \n",
            "Sphinx                   1.8.5          \n",
            "sphinxcontrib-websupport 1.2.2          \n",
            "SQLAlchemy               1.3.17         \n",
            "sqlparse                 0.3.1          \n",
            "srsly                    1.0.2          \n",
            "statsmodels              0.10.2         \n",
            "sympy                    1.1.1          \n",
            "tables                   3.4.4          \n",
            "tabulate                 0.8.7          \n",
            "tbb                      2020.0.133     \n",
            "tblib                    1.6.0          \n",
            "tensorboard              2.2.2          \n",
            "tensorboard-plugin-wit   1.6.0.post3    \n",
            "tensorboardcolab         0.0.22         \n",
            "tensorflow               2.2.0          \n",
            "tensorflow-addons        0.8.3          \n",
            "tensorflow-datasets      2.1.0          \n",
            "tensorflow-estimator     2.2.0          \n",
            "tensorflow-gcs-config    2.2.0          \n",
            "tensorflow-hub           0.8.0          \n",
            "tensorflow-metadata      0.22.2         \n",
            "tensorflow-privacy       0.2.2          \n",
            "tensorflow-probability   0.10.0         \n",
            "termcolor                1.1.0          \n",
            "terminado                0.8.3          \n",
            "testpath                 0.4.4          \n",
            "text-unidecode           1.3            \n",
            "textblob                 0.15.3         \n",
            "textgenrnn               1.4.1          \n",
            "Theano                   1.0.4          \n",
            "thinc                    7.4.0          \n",
            "tifffile                 2020.6.3       \n",
            "toolz                    0.10.0         \n",
            "torch                    1.5.1+cu101    \n",
            "torchsummary             1.5.1          \n",
            "torchtext                0.3.1          \n",
            "torchvision              0.6.1+cu101    \n",
            "tornado                  4.5.3          \n",
            "tqdm                     4.41.1         \n",
            "traitlets                4.3.3          \n",
            "tweepy                   3.6.0          \n",
            "typeguard                2.7.1          \n",
            "typing                   3.6.6          \n",
            "typing-extensions        3.6.6          \n",
            "tzlocal                  1.5.1          \n",
            "umap-learn               0.4.4          \n",
            "uritemplate              3.0.1          \n",
            "urllib3                  1.24.3         \n",
            "vega-datasets            0.8.0          \n",
            "wasabi                   0.7.0          \n",
            "wcwidth                  0.2.5          \n",
            "webencodings             0.5.1          \n",
            "Werkzeug                 1.0.1          \n",
            "wheel                    0.34.2         \n",
            "widgetsnbextension       3.5.1          \n",
            "wordcloud                1.5.0          \n",
            "wrapt                    1.12.1         \n",
            "xarray                   0.15.1         \n",
            "xgboost                  0.90           \n",
            "xkit                     0.0.0          \n",
            "xlrd                     1.1.0          \n",
            "xlwt                     1.3.0          \n",
            "yellowbrick              0.9.1          \n",
            "zict                     2.0.0          \n",
            "zipp                     3.1.0          \n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XsuzHl0owx-B",
        "colab_type": "text"
      },
      "source": [
        "## 환경 세팅하기\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "z_l4k3U6yUZN",
        "colab_type": "text"
      },
      "source": [
        "#### HW 확인하기\n",
        "GPU 설정하기\n",
        "- 런타임 -> 런타임 유형 변경 -> 하드웨어 가속기를 GPU로 변경 "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Uc8zDldRuQPz",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 127
        },
        "outputId": "4480a387-7ccb-4ae9-a722-89ab59b48aed"
      },
      "source": [
        "import tensorflow as tf\n",
        "print(tf.__version__)\n",
        "print(tf.config.list_physical_devices('GPU'))\n",
        "print(tf.test.gpu_device_name())\n",
        "!nvidia-smi  # GPU 확인"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "2.2.0\n",
            "[]\n",
            "\n",
            "NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MXa2CxTwiTe8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# !cat /proc/cpuinfo # CPU 확인\n",
        "# !cat /proc/meminfo  # Memory 확인\n",
        "# !df -h  # Disk 확인"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WI1Hqf5WwfVp",
        "colab_type": "text"
      },
      "source": [
        "#### 구글 드라이브 연동\n",
        "- 자신의 구글 드라이브를 연동하여 중간 결과를 저장하거나 데이터를 불러오는데 이용\n",
        "- 만약 apt-key output should not be parsed (stdout is not a terminal)란 Warning이 나오면 이미 인증이 완료되었다는 뜻이므로 바로 mount하면 됨\n",
        "- 요즘 많은 대학교에서 졸업생에게까지 구글드라이브 무제한 서비스를 제공하고 있으니 찾아보길 바람"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "51MF1KzIuQM3",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        },
        "outputId": "f948e869-e54b-4386-9bf6-a5d7954a71c0"
      },
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount(\"/content/drive\", force_remount=True).\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cIg_hwBniomM",
        "colab_type": "text"
      },
      "source": [
        "#### 작업폴더 경로 설정하기\n",
        "파일을 읽어드리거나 모듈 import를 하려면 구글드라이브 마운트 후 다음 중 하나를 실행해야한다"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sWOmS_7LRtUH",
        "colab_type": "text"
      },
      "source": [
        "1. 경로를 변수로 넣어서 매번 활용하기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "hSSHUHpwrrDh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "data_dir_path = \"/drive/My Drive/Colab Notebooks/NLP\""
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "2HcriXiBrySH",
        "colab_type": "text"
      },
      "source": [
        "2. `sys.path.append()`를 이용하여 원하는 경로를 시스템 경로로 등록해주기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "T5un74auioDl",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import sys\n",
        "\n",
        "my_root = \"/content/drive/My Drive/Colab Notebooks\"\n",
        "sys.path.append(my_root)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RtL5MiyalnVG",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "5c06ca4e-1f30-4317-b47f-6b8e8ce6f9bd"
      },
      "source": [
        "sys.path[-1]"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic": {
              "type": "string"
            },
            "text/plain": [
              "'/content/drive/My Drive/Colab Notebooks'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 3
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "aE1MrcCPnvDc",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "64fa18db-68b5-4329-8362-29a82eb592a7"
      },
      "source": [
        "from import_test import is_imported\n",
        "is_imported()"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "yes!\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gNghGkARR7yX",
        "colab_type": "text"
      },
      "source": [
        "3. 이용할 파일을 로컬 메인(임시폴더)에 복사해온 후 사용하기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6JJ4nif3R8SD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!cp \"drive/My Drive/Colab Notebooks/import_test.py\" ."
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4erNY6XeSknS",
        "colab_type": "text"
      },
      "source": [
        "4. 경로 이동 후 명령어 실행하기\n",
        "(매번 고려하기 어려울 수 있어 비추함)"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UP5UqHDqOrPH",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "a44d1e4b-6fb3-491c-c7e5-99c263c75dd3"
      },
      "source": [
        "%cd /content/drive/My Drive/Colab Notebooks"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "/content/drive/My Drive/Colab Notebooks\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "R55LcQGMIFtI",
        "colab_type": "text"
      },
      "source": [
        "#### 로컬에 있는 데이터 파일 업로드 하기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1Ino71YVH1HR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from google.colab import files\n",
        "uploaded = files.upload()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5ja5I4jKV1TH",
        "colab_type": "text"
      },
      "source": [
        "![title](images/py.png)\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bnC_B86IVsMc",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 73
        },
        "outputId": "712bbf3c-3d2d-43dc-e3e4-285923398055"
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "/bin/bash: -c: line 0: syntax error near unexpected token `('\n",
            "/bin/bash: -c: line 0: `[대체 텍스트](https://drive.google.com/file/d/1zhJx2yIO9FQJLl2W4mN7deKBJZBzLtZi/view?usp=sharing)'\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kR44D7G5RRug",
        "colab_type": "text"
      },
      "source": [
        "## 기본 이용법\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PzwWXuYluscJ",
        "colab_type": "text"
      },
      "source": [
        "### 단축키\n",
        "편집모드를 빠져나온 후 실행\n",
        "- 코드 셀 생성: A(B)\n",
        "- 코드 셀 실행 \n",
        "    – Ctrl+Enter\n",
        "    - Shift+Enter\n",
        "    - 드래그 후 Ctrl + Shift + Enter\n",
        "- 셀 복사: Ctrl+M C,   (V, X)\n",
        "- 셀 삭제: Ctrl+M D\n",
        "\n",
        "- 코드(텍스트) 셀로 변환: Ctrl+M Y(M)\n",
        "- 셀 나누기: Ctrl+M -\n",
        "\n",
        "- 마지막 셀 작업 실행취소: Ctrl+Shift+Z\n",
        "- 실행중인 셀 중단: Ctrl+M I\n",
        "- 런타임 다시 시작: Ctrl+M ."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vVX1QxzdwctL",
        "colab_type": "text"
      },
      "source": [
        "### 터미널 명령어 실행하기\n",
        "앞에 `!`를 붙이고 터미널 명령어를 넣어주면 됨\n",
        "- 예외로 cd 명령어는 %cd /your/desired/path\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qWVn_esOuQSs",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 127
        },
        "outputId": "ac180abd-baa0-42a8-de3c-fec69186b7ea"
      },
      "source": [
        "!pip install sentencepiece"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting sentencepiece\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/d4/a4/d0a884c4300004a78cca907a6ff9a5e9fe4f090f5d95ab341c53d28cbc58/sentencepiece-0.1.91-cp36-cp36m-manylinux1_x86_64.whl (1.1MB)\n",
            "\r\u001b[K     |▎                               | 10kB 16.5MB/s eta 0:00:01\r\u001b[K     |▋                               | 20kB 1.7MB/s eta 0:00:01\r\u001b[K     |█                               | 30kB 2.2MB/s eta 0:00:01\r\u001b[K     |█▏                              | 40kB 2.5MB/s eta 0:00:01\r\u001b[K     |█▌                              | 51kB 2.0MB/s eta 0:00:01\r\u001b[K     |█▉                              | 61kB 2.3MB/s eta 0:00:01\r\u001b[K     |██▏                             | 71kB 2.5MB/s eta 0:00:01\r\u001b[K     |██▍                             | 81kB 2.7MB/s eta 0:00:01\r\u001b[K     |██▊                             | 92kB 2.9MB/s eta 0:00:01\r\u001b[K     |███                             | 102kB 2.8MB/s eta 0:00:01\r\u001b[K     |███▍                            | 112kB 2.8MB/s eta 0:00:01\r\u001b[K     |███▋                            | 122kB 2.8MB/s eta 0:00:01\r\u001b[K     |████                            | 133kB 2.8MB/s eta 0:00:01\r\u001b[K     |████▎                           | 143kB 2.8MB/s eta 0:00:01\r\u001b[K     |████▋                           | 153kB 2.8MB/s eta 0:00:01\r\u001b[K     |████▉                           | 163kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████▏                          | 174kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████▌                          | 184kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████▉                          | 194kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████                          | 204kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████▍                         | 215kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████▊                         | 225kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████                         | 235kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████▎                        | 245kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████▋                        | 256kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████                        | 266kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████▎                       | 276kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████▌                       | 286kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████▉                       | 296kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████▏                      | 307kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████▌                      | 317kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████▊                      | 327kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████                      | 337kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████▍                     | 348kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████▊                     | 358kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████                     | 368kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████▎                    | 378kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████▋                    | 389kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████                    | 399kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████▏                   | 409kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████▌                   | 419kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████▉                   | 430kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████▏                  | 440kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████▍                  | 450kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████▊                  | 460kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████                  | 471kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████▍                 | 481kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████▋                 | 491kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████                 | 501kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████▎                | 512kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████▋                | 522kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████▉                | 532kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████▏               | 542kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████▌               | 552kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████▉               | 563kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████               | 573kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████▍              | 583kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████▊              | 593kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████              | 604kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████▎             | 614kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████▋             | 624kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████             | 634kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████▎            | 645kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████▌            | 655kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████▉            | 665kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████▏           | 675kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████▌           | 686kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████▊           | 696kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████           | 706kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████▍          | 716kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████▋          | 727kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████          | 737kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████▎         | 747kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████▋         | 757kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████▉         | 768kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████▏        | 778kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████▌        | 788kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████▉        | 798kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████        | 808kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████▍       | 819kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████▊       | 829kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████████       | 839kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▎      | 849kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▋      | 860kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████      | 870kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▎     | 880kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▌     | 890kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▉     | 901kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▏    | 911kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▌    | 921kB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▊    | 931kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████████    | 942kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▍   | 952kB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▊   | 962kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████   | 972kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▎  | 983kB 2.8MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▋  | 993kB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████  | 1.0MB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▏ | 1.0MB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▌ | 1.0MB 2.8MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▉ | 1.0MB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▏| 1.0MB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▍| 1.1MB 2.8MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▊| 1.1MB 2.8MB/s eta 0:00:01\r\u001b[K     |████████████████████████████████| 1.1MB 2.8MB/s \n",
            "\u001b[?25hInstalling collected packages: sentencepiece\n",
            "Successfully installed sentencepiece-0.1.91\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4QSQ4ezAxeUO",
        "colab_type": "text"
      },
      "source": [
        "### 기타 Tips\n",
        "- 별도로 저장하지 않아도 주기적으로 자동 저장되나 완전한 실시간은 아니므로 `Ctrl+s`로 저장 후 창을 닫기   \n",
        "(물론 다른 사람이 공유해준 것을 저장하려면 본인 `드라이브에 사본저장` 해줘야함\n",
        "- *Github에 사본저장*으로 colab 파일을 github에 바로 업로드 할 수 있음\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_XXsm4VktOXF",
        "colab_type": "text"
      },
      "source": [
        "https://amitness.com/2020/06/google-colaboratory-tips/?fbclid=IwAR3Gl6zSJpMm-LoH37c_5hbdUvZgifJ5dqYLF4RvbvHABPsFk6RJVa5K6Dc\n",
        "\n",
        "- 2. 셀 실행에 걸린 시간 보기\n",
        "실행 이후, 플레이버튼에 마우스를 올려놓으면 확인 가능\n",
        "- 6. 깃헙의 ipynb 파일을 코랩에서 열기\n",
        "크롬 익스텐션 설치\n",
        "깃헙의 원하는 ipynb 파일에 접근 후, 익스텐션 클릭\n",
        "\n",
        "- 기타 \n",
        "    - 11. 인터렉티브 쉘 실행하기\n",
        "셀에 \"!bash\" 라고 실행하면, 출력화면에서 shell로의 세션이 연결되어, 직접적으로 인터렉션이 가능\n",
        "    - 13. \"Open in Colab\" 뱃지\n",
        "깃헙에서, \"Open in Colab\" 뱃지를 단 저장소를 많이 볼 수 있는데, 이를 만드는 방법\n",
        "특정 URL 주소가 들어간 그림 링크가 필요함\n",
        "    - 15. conda 환경 설정하기\n",
        "아나콘다 가상 환경을 만들고, activate 하기 위한 방법\n",
        "    - 16. 로컬환경에서 Colab 노트북을 CLI로 관리하는 방법\n",
        "colab-cli 라는 라이브러리를 이용해서, 노트북을 gdrive로 업로드, 업로드된 노트북을 즉각적으로 colab으로 열 수 있는 링크 생성 등이 가능\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "NR0SoW9dW51g",
        "colab_type": "text"
      },
      "source": [
        "### image 넣기\n",
        "원래 됐었는데... 링크 규칙이 바뀐듯함\n",
        "[참고 링크](https://www.youtube.com/watch?v=vlheEeZd6lY)\n",
        "- 구글 드라이브에 이미지 업로드하기\n",
        "- 해당 이미지 파일에서 마우스 오른쪽 눌러 `get sharable link` 클릭\n",
        "- 접근권한을 `링크가 있는 모든 사용자에게 공개`로 설정해주기   \n",
        "(원래는 안해도 됐었는데 변경된듯 함)\n",
        "- 링크를 아래와 같이 수정하여 삽입"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6W5MgKQY4XgL",
        "colab_type": "text"
      },
      "source": [
        "https://support.google.com/drive/thread/34363118?hl=en\n",
        "- for embed > `https://drive.google.com/file/d/file's ID/preview`\n",
        "- for direct link > `https://drive.google.com/uc?export=view&id=file's ID`\n",
        "- for share > `https://drive.google.com/file/d/file's ID/view?usp=sharing`"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3QrM9sMw5agQ",
        "colab_type": "text"
      },
      "source": [
        "![대체 텍스트](https://drive.google.com/uc?id=1enr1y05D56nvF7QVdnx6GagY7trx9tbr)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vS_txXsmxorK",
        "colab_type": "text"
      },
      "source": [
        "## 참고: 마크다운(Markdown) 문법\n",
        "구글코랩, jupyter notebook, Notion 등 마크다운 문법을 지원하는 경우, 이를 잘 이용하면 깔끔한 문서를 만들 수 있음\n",
        "\n",
        "###  제목\n",
        "- *기울임*\n",
        "- **볼드체**\n",
        "- `코드표현`\n",
        "    - 목록 depth 주기 tab\n",
        "\n",
        "1. 숫자 목록\n",
        "2. 숫자 목록\n",
        "\n",
        "> 인용표시는 `<` 로 합니다\n",
        "\n",
        "수식은 $\\sqrt{3x-1}+(1+x)^2.$\n",
        "\n",
        "### 줄바꿈하기\n",
        "줄 바꿈하려면 문장 끝 SPACE 3개 이상 넣어줘야 함    \n",
        "그래야 줄바꿈됩니다.\n",
        "\n",
        "이렇게 하면 줄바꿈 안돼요\n",
        "알겠죠?\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DLrVCRi64KG0",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}