Нагенерировать машинного отупения на ruGPT3.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "name": "Нагенерировать машинного отупения на ruGPT3.ipynb",
      "provenance": [],
      "collapsed_sections": [
        "9IH1cb0oGkXP"
      ]
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YONnGjpAYUdU"
      },
      "source": [
        "\n",
        "<a href=\"https://colab.research.google.com/github/ivantor0/MachineScorning/blob/9aaf47aec4f6f866f24c0a87edb3476d19c7c0e5/Нагенерировать%20машинного%20отупения%20на%20ruGPT3.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3RHDK81QqrET"
      },
      "source": [
        "# Нагенерировать машинного отупения на ruGPT3"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BmYKXDNTZS9n"
      },
      "source": [
        "Получить свой бредовый текст, прямо как в канале [Машинное отупение](https://t.me/MachineScorning)!"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "on7W1zhwAaKS",
        "cellView": "form",
        "outputId": "680e0122-f7f9-4c31-9ee0-d3c7c6426d4b"
      },
      "source": [
        "import os\n",
        "import json\n",
        "\n",
        "def is_empty(fpath, default_lines=[[\"Дополни эту фразу\", \"И эту фразу тоже дополни\"], [\"Первый пример запроса\", \"Из нескольких строк\", \"\", \"И второй пример\", \"Я тоже придумать смог\"]]):\n",
        "  if not os.path.isfile(fpath):\n",
        "    return True\n",
        "  if not (os.path.getsize(fpath) > 0):\n",
        "    return True\n",
        "  if default_lines:\n",
        "    with open(fpath, \"r\") as infile:\n",
        "      lines = infile.read().split(\"\\n\")\n",
        "    for deflines in default_lines:\n",
        "      if lines == deflines:\n",
        "        return True\n",
        "  return False\n",
        "  \n",
        "\n",
        "def get_lbc(model_meta):\n",
        "  lbc = model_meta[\"line_break_character\"]\n",
        "  lbc = lbc.replace(\"\\s\", \" \")\n",
        "  return lbc\n",
        "\n",
        "#@markdown Для начала выберите модель:\n",
        "\n",
        "Модель = \"Цитаты простых нейролюдей\"  #@param [\"Нейроописания товаров\", \"Нейроинструкции на все случаи жизни\", \"Нейротексты «Короля и Шута»\", \"Нейроновости Северной Кореи\", \"Нейропоздравления с новым годом\", \"Нейроюморески\", \"Нейросвояк\", \"Цитаты простых нейролюдей\"]\n",
        "\n",
        "desc_dict = {\n",
        "    \"Нейроописания товаров\": \"products_desc\",\n",
        "    \"Нейроинструкции на все случаи жизни\": \"wikihowto\",\n",
        "    \"Нейротексты «Короля и Шута»\": \"kishverses\",\n",
        "    \"Нейроновости Северной Кореи\": \"rukcna\",\n",
        "    \"Нейропоздравления с новым годом\": \"greetings\",\n",
        "    \"Нейроюморески\": \"neurojumoreski\",\n",
        "    \"Нейросвояк\": \"neurosvoyak\",\n",
        "    \"Цитаты простых нейролюдей\": \"citati_prosto\"\n",
        "}\n",
        "\n",
        "model = desc_dict[Модель]\n",
        "\n",
        "!wget -q --show-progress https://storage.googleapis.com/isikus/machine-scorning/{model}.tar.gz\n",
        "!mkdir {model}\n",
        "!tar -xzf {model}.tar.gz -C {model}\n",
        "\n",
        "try:\n",
        "  with open(model+\"/meta.json\", \"r\") as injson:\n",
        "    model_meta = json.load(injson)\n",
        "  print('\\x1b[1m'+Модель + \": модель подготовлена\"+'\\x1b[0m')\n",
        "except Exception as e:\n",
        "  print('\\x1b[1;31m'+\"Что-то сломалось – модель не готова :(\"+'\\x1b[0m')"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "citati_prosto.tar.g 100%[===================>] 443.69M   137MB/s    in 3.2s    \n",
            "\u001b[1mЦитаты простых нейролюдей: модель подготовлена\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fk5AMR1q5ifP"
      },
      "source": [
        "Теперь запишите варианты начала сообщений, которые должна дополнить модель, сразу под текстом `%%writefile input.txt`, по 1 разному началу на строку:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "WOisDCMa5QZR",
        "outputId": "76888397-d070-4abc-d81f-203fce0f68d3"
      },
      "source": [
        "%%writefile input.txt\n",
        "Дополни эту фразу\n",
        "И эту фразу тоже дополни"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Writing input.txt\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "8Y1U_F98ROVS"
      },
      "source": [
        "**Важно:** если ваши запросы содержат переносы строк (например, это начало стихотворения), вместо предыдущей клетки, заполните клетку ниже, разбивая ваш ввод двумя переносами строк. Код ниже заменит переносы строк на специальный символ – это необходимо для корректной работы модели."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "yK0q8R0uR3gs",
        "outputId": "53195c9f-ae91-4bd4-a9de-4073d996d760"
      },
      "source": [
        "%%writefile input_with_lines.txt\n",
        "Первый пример запроса\n",
        "Из нескольких строк\n",
        "\n",
        "И второй пример\n",
        "Я тоже придумать смог"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Writing input_with_lines.txt\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BBU-YKC4ZL_d"
      },
      "source": [
        "Если у вас совсем нет идей, запустите код ниже – он скачает примеры запросов по умолчанию для вашей модели:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_Ks9smG9YJUk",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a1136d2c-fa81-4780-d093-f47da22a50c2"
      },
      "source": [
        "if is_empty(\"input.txt\") and is_empty(\"input_with_lines.txt\"):\n",
        "  !cp {model}/example_input.txt input.txt\n",
        "  print('\\x1b[1;31m'+\"Загружены примеры по умолчанию\"+'\\x1b[0m')"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[1;31mЗагружены примеры по умолчанию\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "cellView": "form",
        "id": "NVDPUK2wGvpl"
      },
      "source": [
        "#@markdown Наконец, укажите, сколько вариантов выдачи нужно сгенерировать модели на каждый из запросов (от 1 до 30):\n",
        "\n",
        "Повторов =   3#@param {\"type\": \"integer\"}\n",
        "takes = Повторов\n",
        "\n",
        "if takes < 1:\n",
        "  takes = 1\n",
        "  print(\"Это маловато. Установили значение \" + str(takes) + \".\")\n",
        "if takes > 30:\n",
        "  takes = 30\n",
        "  print(\"Это многовато. Установили значение \" + str(takes) + \".\")\n",
        "if type(takes) != int:\n",
        "  takes = 4\n",
        "  print(\"Что-то пошло не так. Установили значение \" + str(takes) + \".\")"
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9IH1cb0oGkXP"
      },
      "source": [
        "## Подготавливаем среду для модели\n",
        "Сами файлы скачаны, но нужно ещё выполнить код, чтобы подготовить модель к работе."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Y4l_N3Rw_7AJ"
      },
      "source": [
        "Проверяем, что мы подключены к видеокарте: команда в клетке ниже должна работать и показывать показывать примерно 12000-15000 Мб свободной памяти:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Kd1B5BJB_thJ",
        "outputId": "37084516-39f9-48f8-e868-a151522050f5"
      },
      "source": [
        "!nvidia-smi"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Sat Sep 11 08:37:39 2021       \n",
            "+-----------------------------------------------------------------------------+\n",
            "| NVIDIA-SMI 470.63.01    Driver Version: 460.32.03    CUDA Version: 11.2     |\n",
            "|-------------------------------+----------------------+----------------------+\n",
            "| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |\n",
            "| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |\n",
            "|                               |                      |               MIG M. |\n",
            "|===============================+======================+======================|\n",
            "|   0  Tesla K80           Off  | 00000000:00:04.0 Off |                    0 |\n",
            "| N/A   40C    P8    27W / 149W |      0MiB / 11441MiB |      0%      Default |\n",
            "|                               |                      |                  N/A |\n",
            "+-------------------------------+----------------------+----------------------+\n",
            "                                                                               \n",
            "+-----------------------------------------------------------------------------+\n",
            "| Processes:                                                                  |\n",
            "|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |\n",
            "|        ID   ID                                                   Usage      |\n",
            "|=============================================================================|\n",
            "|  No running processes found                                                 |\n",
            "+-----------------------------------------------------------------------------+\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Xa62C9TeU_U5"
      },
      "source": [
        "Устанавливаем нужные версии библиотек:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "asqMueYPeIgK",
        "outputId": "b2c9d69c-b2a1-43ef-ddf0-6152005c6f64"
      },
      "source": [
        "!pip3 install -q urllib3==1.25.4 transformers==2.8.0\n",
        "\n",
        "print('\\n'+'\\x1b[1m'+\"Требуемые версии пакетов установлены\"+'\\x1b[0m')"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[K     |████████████████████████████████| 125 kB 5.3 MB/s \n",
            "\u001b[K     |████████████████████████████████| 563 kB 38.2 MB/s \n",
            "\u001b[K     |████████████████████████████████| 1.2 MB 31.2 MB/s \n",
            "\u001b[K     |████████████████████████████████| 5.6 MB 44.1 MB/s \n",
            "\u001b[K     |████████████████████████████████| 131 kB 45.9 MB/s \n",
            "\u001b[K     |████████████████████████████████| 895 kB 40.7 MB/s \n",
            "\u001b[K     |████████████████████████████████| 79 kB 7.5 MB/s \n",
            "\u001b[K     |████████████████████████████████| 7.9 MB 36.4 MB/s \n",
            "\u001b[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.\n",
            "datascience 0.10.6 requires folium==0.2.1, but you have folium 0.8.3 which is incompatible.\u001b[0m\n",
            "\u001b[?25h\n",
            "\u001b[1mТребуемые версии пакетов установлены\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iT0Njx_J8gsw"
      },
      "source": [
        "Скачиваем файл с исходным кодом для работы модели:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "mpkjTWefecLc",
        "outputId": "3dc6de28-5474-4d82-f2d7-8081d439891c"
      },
      "source": [
        "!wget -q --show-progress https://raw.githubusercontent.com/sberbank-ai/ru-gpts/master/generate_transformers.py\n",
        "\n",
        "print('\\n'+'\\x1b[1m'+\"Код запуска модели загружен\"+'\\x1b[0m')"
      ],
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\rgenerate_transforme   0%[                    ]       0  --.-KB/s               \rgenerate_transforme 100%[===================>]  10.23K  --.-KB/s    in 0s      \n",
            "\n",
            "\u001b[1mКод запуска модели загружен\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "h6tgF3M_WKgL"
      },
      "source": [
        "Запускаем код, необходимый для преобразования файлов и отображения выдачи:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "OLQ0nauvOR6K",
        "outputId": "fb0c73a4-951f-4df3-a9d8-ac1fb09e189e"
      },
      "source": [
        "import re\n",
        "import os\n",
        "import sys\n",
        "import json\n",
        "import random\n",
        "from datetime import datetime\n",
        "\n",
        "from IPython.display import Markdown, display\n",
        "\n",
        "def printmd(string):\n",
        "    display(Markdown(string))\n",
        "\n",
        "with open(model+\"/meta.json\", \"r\") as injson:\n",
        "  model_meta = json.load(injson)\n",
        "\n",
        "# converting inputs\n",
        "\n",
        "s = \"\"\n",
        "\n",
        "if not is_empty(\"input_with_lines.txt\"):\n",
        "  with open(\"input_with_lines.txt\", \"r\", encoding=\"utf-8\") as intxt:\n",
        "    prompts = [get_lbc(model_meta).join([sp for sp in p.split(\"\\n\") if sp]) for p in intxt.read().split(\"\\n\\n\") if p]\n",
        "else:\n",
        "  with open(\"input.txt\", \"r\", encoding=\"utf-8\") as intxt:\n",
        "    isp = intxt.read().split(\"\\n\")\n",
        "    prompts = [p for p in isp if p]\n",
        "    if not prompts:\n",
        "      prompts = [p for p in isp]\n",
        "\n",
        "for prompt in prompts:\n",
        "  s += (model_meta['prompt'] % prompt + '\\n') * takes\n",
        "\n",
        "with open(\"rawi.txt\", \"w\", encoding=\"utf-8\") as rawo:\n",
        "  rawo.write(s)\n",
        "\n",
        "print('\\x1b[1m'+\"Среда подготовлена\"+'\\x1b[0m')"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[1mСреда подготовлена\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DP7YAlDPqknI"
      },
      "source": [
        "## Генерируем отупение\n",
        "\n",
        "Теперь всё, наконец, готово к тому, чтобы модель сгенерировала нам выдачу. То, насколько серьёзный и осмысленный текст будет пытаться выдавать модель, можно регулировать по шкале **`Бредовость`**: здесь есть 5 степеней – от самой нормальной до самой странной (я предупреждал). Кроме этого, флажок **`Повторяться`** определяет, как будет работать модель: если галочку оставить, то первый результат будет очень похож не те, что есть в канале, а последующие будут с ним совпадать. А если снять галочку, то выдача модели каждый раз будет новая. Удачи!"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 710
        },
        "id": "i82pDH4MYTKl",
        "cellView": "form",
        "outputId": "e241189b-874f-44be-affc-de8ccad1b072"
      },
      "source": [
        "#@markdown ### Начать генерацию!\n",
        "\n",
        "Бредовость = 0 #@param {type: \"slider\", min: 0, max: 100, step: 25}\n",
        "stlv = Бредовость\n",
        "\n",
        "stup_cases = {\n",
        "    0: {\"k\": 5, \"p\": 0.95, \"temp\": 1.0},\n",
        "    25: {\"k\": 5, \"p\": 0.93, \"temp\": 2.0},\n",
        "    50: {\"k\": 6, \"p\": 0.91, \"temp\": 3.0},\n",
        "    75: {\"k\": 6, \"p\": 0.9, \"temp\": 4.0},\n",
        "    100: {\"k\": 7, \"p\": 0.88, \"temp\": 5.0}\n",
        "}\n",
        "\n",
        "Повторяться = False   # @param {\"type\": \"boolean\"}\n",
        "add_randomness = not Повторяться\n",
        "\n",
        "rs = random.choice(list(range(0, 10000))) if add_randomness else 42\n",
        "printmd(\"Ключ случайного значения: **\"+str(rs)+\"**\")\n",
        "\n",
        "responses = !python generate_transformers.py \\\n",
        "    --model_type=gpt2 \\\n",
        "    --model_name_or_path={model} \\\n",
        "    --k={str(stup_cases[stlv][\"k\"])} \\\n",
        "    --p={str(stup_cases[stlv][\"p\"])} \\\n",
        "    --seed={str(rs)} \\\n",
        "    --temperature={str(stup_cases[stlv][\"temp\"])} \\\n",
        "    --repetition_penalty=1.0 \\\n",
        "    --stop_token=\"{model_meta['sequence_end_character']}\" \\\n",
        "    --length=500 < rawi.txt 2>/dev/null\n",
        "\n",
        "responses = \"\\n\".join(list(responses))\n",
        "\n",
        "lbc = model_meta[\"line_break_character\"]\n",
        "ssc = model_meta[\"sequence_start_character\"]\n",
        "sec = model_meta[\"sequence_end_character\"]\n",
        "prompt = re.sub(r\"%[a-z]+\", \"(.*?)\", model_meta[\"prompt\"])\n",
        "\n",
        "resps = [r for r in responses.split(\"Context >>> ruGPT:\\n\") if r]\n",
        "sps = [sp for sp in s.split(\"\\n\") if sp]\n",
        "for sp, resp in zip(sps, resps):\n",
        "  pt = re.search(re.sub(r\"%[a-z]+\", \"(.*)\", re.escape(model_meta[\"prompt\"])), sp).group(1)\n",
        "  rs, _ = re.findall(re.compile(re.escape(sp) + r\"\\n?(.*?)(\" + ssc + \"|$)\", flags=re.DOTALL), resp)[0]\n",
        "  pt = \"<br>\".join(\"<b>\" + p + \"</b>\" for p in re.split(lbc, pt) if p)\n",
        "  printmd(pt)\n",
        "  rs = re.sub(lbc, \"<br>\", rs).strip()\n",
        "  rs = re.sub(r\"([^\\s])<br>([^\\s])\", r\"\\1 <br> \\2\", rs)\n",
        "  if Модель == \"Нейросвояк\":\n",
        "    rs = re.sub(r\"\\s([0-9]0?)\\.\", r\"<br><br>\\1\\\\.\", rs)\n",
        "    rs = rs.replace(\"1. \", \"1\\. \")\n",
        "    rs = re.sub(r\"\\s((?:Ответ: )|(?:Источник[а-яё()]: ))\", r\"<br>\\1\", rs)\n",
        "    sq = re.search(r\"Автор[а-яё()]?: \", rs)\n",
        "    if sq:\n",
        "      rs = rs[:sq.start() - 1]\n",
        "  rse = len(rs) if rs.find(\"Context >>\") == -1 else rs.find(\"Context >>\")\n",
        "  printmd(rs[:rse] + \"<br>\")"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ключ случайного значения: **8003**",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ты мне скажи, я тебе скажу<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну как, как? Всё нормально?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я так и знала<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "А что, у нас уже в этом месяце?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну, я пошел.<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я тебя люблю<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну и ладно<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Да я не против.  Но если ты не против, то давай тогда без тебя.<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну что, поехали?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "А ты не обижайся, но мне кажется что это ты не так понял.<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну и ну<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну и где тут у тебя мой друг, я же тебе не сказал!<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ты меня слышишь? - Да, да... Я тоже тебя слышу!  Да, я тоже тебя слышу!  Я тоже тебя слышу!<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Да, это точно, я в курсе.  И что, все довольны?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "А ты не обижайся<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Да, да, да, конечно, конечно, это всё, что я хотел сказать. Но я просто хотел сказать, что я всё ещё очень рад, что всё получилось, всё очень понравилось. И всё-таки, я думаю, что я всё-таки ещё не дошёл до этого. И, вообще-то, я не думаю, что это всё, что я хочу сказать. Просто я очень рад, что всё сложилось так, как я хочу. И вообще, я просто не понимаю, почему я так делаю. И вообще, мне кажется, что это очень круто. Это как-то само собой происходит. Всё-таки я не знаю, как всё должно получиться. Я бы не хотел, чтобы всё получилось так, как я хочу. И ещё мне кажется, что всё будет хорошо. Я не хочу быть в этом плане счастливым, просто я хочу, чтобы всё было как в жизни. И всё-таки я рад, что всё получилось, всё было так, как я хочу. И я очень благодарен тебе за всё, что ты для меня сделал, что я тебе сделал, что я для тебя сделал. Спасибо, что ты есть. Спасибо, что ты есть. Я тебя люблю, очень.\n\nВ Москве в пятницу, 14 февраля, на Пушкинской площади пройдёт фестиваль &quot;Парад планет&quot;, в рамках которого пройдут соревнования по плаванию на воде. В программе - бег, плавание, катание на коньках, беговые лыжи, волейбол, волейбол, плавание, плавание, волейбол, волейбол, футбол.\n\nВ Москве в субботу, 14 февраля, на Пушкинской площади пройдет фестиваль &quot;Парад планет&quot;, в рамках которого пройдут соревнования по плаванию на воде. В программе - бег, плавание, плавание, катание на коньках, плавание, плавание, волейбол, волейбол, плавание, плавание, волейбол, футбол.\n\nВ Москве в воскресенье, 15 февраля, на Пушкинской площади пройдёт фестиваль &quot;Парад планет&quot;, в рамках которого пройдут соревнования по плаванию на воде. В программе - бег, плавание, плавание, плавание, плавание, плавание, волейбол, волейбол, плавание, волейбол, плавание, волейбол, плавание, волейбол, волейбол, плавание, волейбол, плавание, волейбол, плавание, волейбол, плавание, волейбол, волейбол, плавание, волейбол, плавание, волейбол, плавание, волейбол, плавание, волейбо<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Да я уже и забыл, где ты был<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я тебя люблю!  Ты мне нравишься \n<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "W6IBHcrCEyId"
      },
      "source": [
        "## Больше отупения!\n",
        "\n",
        "Хотите попробовать другие фразы? Тогда впишите их в клетку под этим текстом, как до этого, и запустите код ниже. Не забудьте поменять `%%writefile input.txt` на `%%writefile input_with_lines.txt`, если ваши запросы содержат переносы строк!"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "yd0o8O28E0IJ",
        "outputId": "a42161b9-31b3-40b6-bc7d-9818a677833b"
      },
      "source": [
        "%%writefile input.txt\n",
        "\n",
        "\n",
        "\n",
        "\n"
      ],
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Overwriting input.txt\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 359
        },
        "id": "YEGt_2-mRvN-",
        "cellView": "form",
        "outputId": "060e7468-3a55-44f3-d9ec-22032fae9553"
      },
      "source": [
        "#@markdown ### Генерируем новую выдачу\n",
        "\n",
        "Повторов = 3  #@param {\"type\": \"integer\"}\n",
        "takes = Повторов\n",
        "\n",
        "if takes < 1:\n",
        "  takes = 1\n",
        "  print(\"Маловато повторов. Установлено значение \" + str(takes) + \".\")\n",
        "if takes > 30:\n",
        "  takes = 30\n",
        "  print(\"Многовато повторов. Установлено значение \" + str(takes) + \".\")\n",
        "if type(takes) != int:\n",
        "  takes = 4\n",
        "  print(\"Что-то пошло не так с количеством повторов. Установлено значение \" + str(takes) + \".\")\n",
        "\n",
        "s = \"\"\n",
        "\n",
        "if not is_empty(\"input_with_lines.txt\"):\n",
        "  with open(\"input_with_lines.txt\", \"r\", encoding=\"utf-8\") as intxt:\n",
        "    prompts = [get_lbc(model_meta).join([sp for sp in p.split(\"\\n\") if sp]) for p in intxt.read().split(\"\\n\\n\") if p]\n",
        "else:\n",
        "  with open(\"input.txt\", \"r\", encoding=\"utf-8\") as intxt:\n",
        "    isp = intxt.read().split(\"\\n\")\n",
        "    prompts = [p for p in isp if p]\n",
        "    if not prompts:\n",
        "      prompts = [p for p in isp]\n",
        "\n",
        "for prompt in prompts:\n",
        "  s += (model_meta['prompt'] % prompt + '\\n') * takes\n",
        "\n",
        "with open(\"rawi.txt\", \"w\", encoding=\"utf-8\") as rawo:\n",
        "  rawo.write(s)\n",
        "\n",
        "Бредовость = 25 #@param {type: \"slider\", min: 0, max: 100, step: 25}\n",
        "stlv = Бредовость\n",
        "\n",
        "Повторяться = False   # @param {\"type\": \"boolean\"}\n",
        "add_randomness = not Повторяться\n",
        "\n",
        "rs = random.choice(list(range(0, 10000))) if add_randomness else 42\n",
        "printmd(\"Ключ случайного значения: **\"+str(rs)+\"**\")\n",
        "\n",
        "responses = !python generate_transformers.py \\\n",
        "    --model_type=gpt2 \\\n",
        "    --model_name_or_path={model} \\\n",
        "    --k={str(stup_cases[stlv][\"k\"])} \\\n",
        "    --p={str(stup_cases[stlv][\"p\"])} \\\n",
        "    --seed={str(rs)} \\\n",
        "    --temperature={str(stup_cases[stlv][\"temp\"])} \\\n",
        "    --repetition_penalty=1.0 \\\n",
        "    --stop_token=\"{model_meta['sequence_end_character']}\" \\\n",
        "    --length=500 < rawi.txt 2>/dev/null\n",
        "\n",
        "responses = \"\\n\".join(list(responses))\n",
        "\n",
        "lbc = model_meta[\"line_break_character\"]\n",
        "ssc = model_meta[\"sequence_start_character\"]\n",
        "sec = model_meta[\"sequence_end_character\"]\n",
        "prompt = re.sub(r\"%[a-z]+\", \"(.*?)\", model_meta[\"prompt\"])\n",
        "\n",
        "resps = [r for r in responses.split(\"Context >>> ruGPT:\\n\") if r]\n",
        "sps = [sp for sp in s.split(\"\\n\") if sp]\n",
        "for sp, resp in zip(sps, resps):\n",
        "  pt = re.search(re.sub(r\"%[a-z]+\", \"(.*)\", re.escape(model_meta[\"prompt\"])), sp).group(1)\n",
        "  rs, _ = re.findall(re.compile(re.escape(sp) + r\"\\n?(.*?)(\" + ssc + \"|$)\", flags=re.DOTALL), resp)[0]\n",
        "  pt = \"<br>\".join(\"<b>\" + p + \"</b>\" for p in re.split(lbc, pt) if p)\n",
        "  printmd(pt)\n",
        "  rs = re.sub(lbc, \"<br>\", rs).strip()\n",
        "  rs = re.sub(r\"([^\\s])<br>([^\\s])\", r\"\\1 <br> \\2\", rs)\n",
        "  if Модель == \"Нейросвояк\":\n",
        "    rs = re.sub(r\"\\s([0-9]0?)\\.\", r\"<br><br>\\1\\\\.\", rs)\n",
        "    rs = rs.replace(\"1. \", \"1\\. \")\n",
        "    rs = re.sub(r\"\\s((?:Ответ: )|(?:Источник[а-яё()]: ))\", r\"<br>\\1\", rs)\n",
        "    sq = re.search(r\"Автор[а-яё()]?: \", rs)\n",
        "    if sq:\n",
        "      rs = rs[:sq.start() - 1]\n",
        "  rse = len(rs) if rs.find(\"Context >>\") == -1 else rs.find(\"Context >>\")\n",
        "  printmd(rs[:rse] + \"<br>\")"
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ключ случайного значения: **4432**",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "А что за фильм?\n- Да там вообще-то про любовь, - говорит он и смотрит на нас<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ты не расстраивайся, всё будет хорошо)<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "А у тебя?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я не хочу быть в этом мире ~draggle<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну что там, всё в норме?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я так не думаю.<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну что ж. В следующий раз я тебя обязательно приглашаю. Я тоже не против.<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я просто не понимаю как так получилось, что у вас в офисе такая огромная очередь, я не успеваю за вами и вы опаздываете на поезд, да еще с опозданием<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну, я думаю, ты уже понял что-нибудь.<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Я тоже не знаю, может ты и прав.  А я вот не знаю...  Может ты не права и мне надо идти..? ~frr~<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ну, как там наши поживают?<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/markdown": "Ты мне нравишься \n<br>",
            "text/plain": [
              "<IPython.core.display.Markdown object>"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3nfmtAaqcFrQ"
      },
      "source": [
        "На этом всё. Получайте удовольствие (надеюсь)!"
      ]
    }
  ]
}