split_dataset.ipynb

{
 "cells": [
  {
   "cell_type": "code",
<<<<<<< HEAD
   "execution_count": 2,
=======
   "execution_count": 1,
>>>>>>> 77e0c86 (.)
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import json \n",
    "from tqdm import tqdm\n",
    "\n",
    "\n",
    "def to_df(json_file):\n",
    "    dataset = json.load(open(json_file))\n",
    "    title, context, question, id, is_impossible, answer, plausible_answers = [], [], [], [], [], [], []\n",
    "    for topic in dataset['data']:\n",
    "        for qas in topic['paragraphs']:\n",
    "            for pair in qas['qas']:\n",
    "                title.append(topic['title'])\n",
    "                context.append(qas['context'])\n",
    "                question.append(pair['question'])\n",
    "                id.append(pair['id'])\n",
    "                try:\n",
    "                    is_impossible.append(pair['is_impossible'])\n",
    "                except:\n",
    "                    is_impossible.append(False)\n",
    "                if not is_impossible[-1]: \n",
    "                    answer.append(pair['answers'])\n",
    "                    plausible_answers.append([])\n",
    "                else: \n",
    "                    answer.append([])\n",
    "                    try:\n",
    "                        plausible_answers.append(pair['plausible_answers'])\n",
    "                    except:\n",
    "                        plausible_answers.append([])  \n",
    "    return pd.DataFrame(zip(title, context, question, id, answer, plausible_answers, is_impossible), columns=['title', 'context', 'question', 'id', 'answer', 'plausible_answers', 'is_impossible'])\n",
    "                "
   ]
  },
  {
   "cell_type": "code",
<<<<<<< HEAD
   "execution_count": 3,
=======
   "execution_count": 2,
>>>>>>> 77e0c86 (.)
   "metadata": {},
   "outputs": [],
   "source": [
    "def convert_to_json(df):\n",
    "    json_file = {}\n",
    "    json_file['version'] = 'viquad2_training_set'\n",
    "    json_file['data'] = []\n",
    "    for id in tqdm(range(len(df))):\n",
    "        data = df.loc[id]\n",
    "        question = {}\n",
    "        question['question'] = data['question']\n",
    "        if data['is_impossible']:\n",
    "            question['answers'] = []\n",
    "            question['plausible_answers'] = data['plausible_answers']\n",
    "        else:\n",
    "            question['answers'] = data['answer']\n",
    "            question['plausible_answers'] = []\n",
    "        question['id'] = data['id']\n",
    "        question['is_impossible'] = bool(data['is_impossible'])\n",
    "        if len(json_file['data']) == 0:\n",
    "            topic = {}\n",
    "            topic['title'] = data['title']\n",
    "            topic['paragraphs'] = [{'qas':[question], 'context':data['context']}]\n",
    "            json_file['data'].append(topic)\n",
    "        else:\n",
    "            if json_file['data'][-1]['title'] == data['title']:\n",
    "                    if json_file['data'][-1]['paragraphs'][-1]['context'] == data['context']:\n",
    "                        json_file['data'][-1]['paragraphs'][-1]['qas'].append(question)\n",
    "                    else:\n",
    "                        json_file['data'][-1]['paragraphs'].append({'qas':[question], 'context':data['context']})\n",
    "            else:\n",
    "                topic = {}\n",
    "                topic['title'] = data['title']\n",
    "                topic['paragraphs'] = [{'qas':[question], 'context':data['context']}]\n",
    "                json_file['data'].append(topic)\n",
    "    return json_file\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_df = to_df('/home/brownyeyes/WorkDirectory/Multidocs-MRC/MRC_VLSP/v2_train_ViQuAD.json')\n",
    "val_df = to_df('/home/brownyeyes/WorkDirectory/Multidocs-MRC/MRC_VLSP/v1_dev_ViQuAD.json')\n",
    "test_df = to_df('/home/brownyeyes/WorkDirectory/Multidocs-MRC/MRC_VLSP/v1_test_ViQuAD.json')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_df_new = to_df('/home/brownyeyes/WorkDirectory/Multidocs-MRC/MRC_VLSP/v2_train_ViQuAD_new.json')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>id</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Paris</td>\n",
       "      <td>Paris nằm ở điểm gặp nhau của các hành trình t...</td>\n",
       "      <td>Vị trí địa lý của Paris có gì đặc biệt?</td>\n",
       "      <td>uit_01__00256_0_1</td>\n",
       "      <td>[{'answer_start': 6, 'text': 'nằm ở điểm gặp n...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Paris</td>\n",
       "      <td>Paris nằm ở điểm gặp nhau của các hành trình t...</td>\n",
       "      <td>Kinh tế xung quanh kinh đô ánh sáng mạnh về gì?</td>\n",
       "      <td>uit_01__00256_0_2</td>\n",
       "      <td>[{'answer_start': 109, 'text': 'nông nghiệp'},...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Paris</td>\n",
       "      <td>Paris nằm ở điểm gặp nhau của các hành trình t...</td>\n",
       "      <td>Cuộc cách mạng Pháp diễn ra ở đâu?</td>\n",
       "      <td>uit_01__00256_0_3</td>\n",
       "      <td>[{'answer_start': 358, 'text': 'Paris'}, {'ans...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Paris</td>\n",
       "      <td>Paris nằm ở điểm gặp nhau của các hành trình t...</td>\n",
       "      <td>Kinh đô ánh sáng nổi tiếng về lĩnh vực gì?</td>\n",
       "      <td>uit_01__00256_0_4</td>\n",
       "      <td>[{'answer_start': 634, 'text': 'nghệ thuật và ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Paris</td>\n",
       "      <td>Paris nằm ở điểm gặp nhau của các hành trình t...</td>\n",
       "      <td>Paris là một thành phố quan trọng của nước Phá...</td>\n",
       "      <td>uit_01__00256_0_5</td>\n",
       "      <td>[{'answer_start': 134, 'text': 'thế kỷ 10'}, {...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2280</th>\n",
       "      <td>Uganda</td>\n",
       "      <td>Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...</td>\n",
       "      <td>Con số 17,12 tỷ USD biểu thị thông số kinh tế ...</td>\n",
       "      <td>uit_01__00971_6_1</td>\n",
       "      <td>[{'answer_start': 10, 'text': 'tổng sản phẩm q...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2281</th>\n",
       "      <td>Uganda</td>\n",
       "      <td>Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...</td>\n",
       "      <td>Vào năm 2010, tổng thu nhập cá nhân của mỗi ng...</td>\n",
       "      <td>uit_01__00971_6_2</td>\n",
       "      <td>[{'answer_start': 153, 'text': '500 USD'}, {'a...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2282</th>\n",
       "      <td>Uganda</td>\n",
       "      <td>Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...</td>\n",
       "      <td>Phần lớn nguồn nhân lực phát triển ở khu vực I...</td>\n",
       "      <td>uit_01__00971_6_3</td>\n",
       "      <td>[{'answer_start': 177, 'text': 'Nông nghiệp'},...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2283</th>\n",
       "      <td>Uganda</td>\n",
       "      <td>Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...</td>\n",
       "      <td>Những nông sản chủ lực của nền nông nghiệp tại...</td>\n",
       "      <td>uit_01__00971_6_4</td>\n",
       "      <td>[{'answer_start': 318, 'text': 'cà phê, chè, n...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2284</th>\n",
       "      <td>Uganda</td>\n",
       "      <td>Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...</td>\n",
       "      <td>Hiện nay, kinh tế Uganda cần phải tập trung ph...</td>\n",
       "      <td>uit_01__00971_6_5</td>\n",
       "      <td>[{'answer_start': 458, 'text': 'chăn nuôi gia ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2285 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       title                                            context  \\\n",
       "0      Paris  Paris nằm ở điểm gặp nhau của các hành trình t...   \n",
       "1      Paris  Paris nằm ở điểm gặp nhau của các hành trình t...   \n",
       "2      Paris  Paris nằm ở điểm gặp nhau của các hành trình t...   \n",
       "3      Paris  Paris nằm ở điểm gặp nhau của các hành trình t...   \n",
       "4      Paris  Paris nằm ở điểm gặp nhau của các hành trình t...   \n",
       "...      ...                                                ...   \n",
       "2280  Uganda  Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...   \n",
       "2281  Uganda  Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...   \n",
       "2282  Uganda  Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...   \n",
       "2283  Uganda  Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...   \n",
       "2284  Uganda  Năm 2010, tổng sản phẩm quốc nội của Uganda đạ...   \n",
       "\n",
       "                                               question                 id  \\\n",
       "0               Vị trí địa lý của Paris có gì đặc biệt?  uit_01__00256_0_1   \n",
       "1       Kinh tế xung quanh kinh đô ánh sáng mạnh về gì?  uit_01__00256_0_2   \n",
       "2                    Cuộc cách mạng Pháp diễn ra ở đâu?  uit_01__00256_0_3   \n",
       "3            Kinh đô ánh sáng nổi tiếng về lĩnh vực gì?  uit_01__00256_0_4   \n",
       "4     Paris là một thành phố quan trọng của nước Phá...  uit_01__00256_0_5   \n",
       "...                                                 ...                ...   \n",
       "2280  Con số 17,12 tỷ USD biểu thị thông số kinh tế ...  uit_01__00971_6_1   \n",
       "2281  Vào năm 2010, tổng thu nhập cá nhân của mỗi ng...  uit_01__00971_6_2   \n",
       "2282  Phần lớn nguồn nhân lực phát triển ở khu vực I...  uit_01__00971_6_3   \n",
       "2283  Những nông sản chủ lực của nền nông nghiệp tại...  uit_01__00971_6_4   \n",
       "2284  Hiện nay, kinh tế Uganda cần phải tập trung ph...  uit_01__00971_6_5   \n",
       "\n",
       "                                                 answer plausible_answers  \\\n",
       "0     [{'answer_start': 6, 'text': 'nằm ở điểm gặp n...                []   \n",
       "1     [{'answer_start': 109, 'text': 'nông nghiệp'},...                []   \n",
       "2     [{'answer_start': 358, 'text': 'Paris'}, {'ans...                []   \n",
       "3     [{'answer_start': 634, 'text': 'nghệ thuật và ...                []   \n",
       "4     [{'answer_start': 134, 'text': 'thế kỷ 10'}, {...                []   \n",
       "...                                                 ...               ...   \n",
       "2280  [{'answer_start': 10, 'text': 'tổng sản phẩm q...                []   \n",
       "2281  [{'answer_start': 153, 'text': '500 USD'}, {'a...                []   \n",
       "2282  [{'answer_start': 177, 'text': 'Nông nghiệp'},...                []   \n",
       "2283  [{'answer_start': 318, 'text': 'cà phê, chè, n...                []   \n",
       "2284  [{'answer_start': 458, 'text': 'chăn nuôi gia ...                []   \n",
       "\n",
       "      is_impossible  \n",
       "0             False  \n",
       "1             False  \n",
       "2             False  \n",
       "3             False  \n",
       "4             False  \n",
       "...             ...  \n",
       "2280          False  \n",
       "2281          False  \n",
       "2282          False  \n",
       "2283          False  \n",
       "2284          False  \n",
       "\n",
       "[2285 rows x 7 columns]"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "val_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>id</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Đức</td>\n",
       "      <td>Năm 1871, Đức trở thành một quốc gia dân tộc k...</td>\n",
       "      <td>Cộng hòa Weimar chính thức thay thế đế quốc Đứ...</td>\n",
       "      <td>uit_01__00061_0_1</td>\n",
       "      <td>[{'answer_start': 124, 'text': 'Chiến tranh th...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Đức</td>\n",
       "      <td>Năm 1871, Đức trở thành một quốc gia dân tộc k...</td>\n",
       "      <td>Nước Đức hiện nay sự hợp thành của hai nước nà...</td>\n",
       "      <td>uit_01__00061_0_2</td>\n",
       "      <td>[{'answer_start': 432, 'text': 'Cộng hòa Liên ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Đức</td>\n",
       "      <td>Năm 1871, Đức trở thành một quốc gia dân tộc k...</td>\n",
       "      <td>Hậu quả nào đã xảy ra khi tại Đức chế độ độc t...</td>\n",
       "      <td>uit_01__00061_0_3</td>\n",
       "      <td>[{'answer_start': 311, 'text': 'Chiến tranh th...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đức</td>\n",
       "      <td>Năm 1871, Đức trở thành một quốc gia dân tộc k...</td>\n",
       "      <td>Cộng hòa Liên bang Đức và Cộng hòa Dân chủ Đức...</td>\n",
       "      <td>uit_01__00061_0_4</td>\n",
       "      <td>[{'answer_start': 480, 'text': 'Năm 1990'}, {'...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Đức</td>\n",
       "      <td>Trong thế kỷ XXI, Đức là một đại cường quốc và...</td>\n",
       "      <td>Vào năm 2015, cả hai lĩnh vực nào Đức đều xếp ...</td>\n",
       "      <td>uit_01__00061_1_1</td>\n",
       "      <td>[{'answer_start': 223, 'text': 'xuất khẩu và n...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2205</th>\n",
       "      <td>Wikipedia</td>\n",
       "      <td>Các yêu cầu trang được gửi cho tầng máy Squid ...</td>\n",
       "      <td>Nếu những yêu cầu mà bộ nhớ Squid không thể th...</td>\n",
       "      <td>uit_01__00059_13_1</td>\n",
       "      <td>[{'answer_start': 102, 'text': 'được gửi qua c...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2206</th>\n",
       "      <td>Wikipedia</td>\n",
       "      <td>Các yêu cầu trang được gửi cho tầng máy Squid ...</td>\n",
       "      <td>Cần làm gì để tăng tốc độ trả lời cho người ch...</td>\n",
       "      <td>uit_01__00059_13_2</td>\n",
       "      <td>[{'answer_start': 431, 'text': 'các trang được...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2207</th>\n",
       "      <td>Wikipedia</td>\n",
       "      <td>Các yêu cầu trang được gửi cho tầng máy Squid ...</td>\n",
       "      <td>Các máy chủ cân bằng tải gửi yêu cầu cho máy c...</td>\n",
       "      <td>uit_01__00059_13_3</td>\n",
       "      <td>[{'answer_start': 251, 'text': 'kết xuất trang...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2208</th>\n",
       "      <td>Wikipedia</td>\n",
       "      <td>Các yêu cầu trang được gửi cho tầng máy Squid ...</td>\n",
       "      <td>Để giải quyết các yêu cầu thì máy chủ web có n...</td>\n",
       "      <td>uit_01__00059_13_4</td>\n",
       "      <td>[{'answer_start': 304, 'text': 'gửi lại những ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2209</th>\n",
       "      <td>Wikipedia</td>\n",
       "      <td>Các yêu cầu trang được gửi cho tầng máy Squid ...</td>\n",
       "      <td>Các nhóm máy chủ lớn giải quyết những nhu cầu ...</td>\n",
       "      <td>uit_01__00059_13_5</td>\n",
       "      <td>[{'answer_start': 693, 'text': 'Hà Lan và Hàn ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2210 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "          title                                            context  \\\n",
       "0           Đức  Năm 1871, Đức trở thành một quốc gia dân tộc k...   \n",
       "1           Đức  Năm 1871, Đức trở thành một quốc gia dân tộc k...   \n",
       "2           Đức  Năm 1871, Đức trở thành một quốc gia dân tộc k...   \n",
       "3           Đức  Năm 1871, Đức trở thành một quốc gia dân tộc k...   \n",
       "4           Đức  Trong thế kỷ XXI, Đức là một đại cường quốc và...   \n",
       "...         ...                                                ...   \n",
       "2205  Wikipedia  Các yêu cầu trang được gửi cho tầng máy Squid ...   \n",
       "2206  Wikipedia  Các yêu cầu trang được gửi cho tầng máy Squid ...   \n",
       "2207  Wikipedia  Các yêu cầu trang được gửi cho tầng máy Squid ...   \n",
       "2208  Wikipedia  Các yêu cầu trang được gửi cho tầng máy Squid ...   \n",
       "2209  Wikipedia  Các yêu cầu trang được gửi cho tầng máy Squid ...   \n",
       "\n",
       "                                               question                  id  \\\n",
       "0     Cộng hòa Weimar chính thức thay thế đế quốc Đứ...   uit_01__00061_0_1   \n",
       "1     Nước Đức hiện nay sự hợp thành của hai nước nà...   uit_01__00061_0_2   \n",
       "2     Hậu quả nào đã xảy ra khi tại Đức chế độ độc t...   uit_01__00061_0_3   \n",
       "3     Cộng hòa Liên bang Đức và Cộng hòa Dân chủ Đức...   uit_01__00061_0_4   \n",
       "4     Vào năm 2015, cả hai lĩnh vực nào Đức đều xếp ...   uit_01__00061_1_1   \n",
       "...                                                 ...                 ...   \n",
       "2205  Nếu những yêu cầu mà bộ nhớ Squid không thể th...  uit_01__00059_13_1   \n",
       "2206  Cần làm gì để tăng tốc độ trả lời cho người ch...  uit_01__00059_13_2   \n",
       "2207  Các máy chủ cân bằng tải gửi yêu cầu cho máy c...  uit_01__00059_13_3   \n",
       "2208  Để giải quyết các yêu cầu thì máy chủ web có n...  uit_01__00059_13_4   \n",
       "2209  Các nhóm máy chủ lớn giải quyết những nhu cầu ...  uit_01__00059_13_5   \n",
       "\n",
       "                                                 answer plausible_answers  \\\n",
       "0     [{'answer_start': 124, 'text': 'Chiến tranh th...                []   \n",
       "1     [{'answer_start': 432, 'text': 'Cộng hòa Liên ...                []   \n",
       "2     [{'answer_start': 311, 'text': 'Chiến tranh th...                []   \n",
       "3     [{'answer_start': 480, 'text': 'Năm 1990'}, {'...                []   \n",
       "4     [{'answer_start': 223, 'text': 'xuất khẩu và n...                []   \n",
       "...                                                 ...               ...   \n",
       "2205  [{'answer_start': 102, 'text': 'được gửi qua c...                []   \n",
       "2206  [{'answer_start': 431, 'text': 'các trang được...                []   \n",
       "2207  [{'answer_start': 251, 'text': 'kết xuất trang...                []   \n",
       "2208  [{'answer_start': 304, 'text': 'gửi lại những ...                []   \n",
       "2209  [{'answer_start': 693, 'text': 'Hà Lan và Hàn ...                []   \n",
       "\n",
       "      is_impossible  \n",
       "0             False  \n",
       "1             False  \n",
       "2             False  \n",
       "3             False  \n",
       "4             False  \n",
       "...             ...  \n",
       "2205          False  \n",
       "2206          False  \n",
       "2207          False  \n",
       "2208          False  \n",
       "2209          False  \n",
       "\n",
       "[2210 rows x 7 columns]"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "negative_value = train_df[train_df['is_impossible']==True].sample(2000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>id</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>14573</th>\n",
       "      <td>Cộng hòa Síp</td>\n",
       "      <td>Tháng 1 năm 1950 Nhà thờ Chính thống phương Đô...</td>\n",
       "      <td>Mục đích thành lập của tổ chức Kháng chiến Thổ...</td>\n",
       "      <td>uit_014574</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 416, 'text': 'tìm kiếm độc l...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8346</th>\n",
       "      <td>Malaysia</td>\n",
       "      <td>Trong thập niên 1970, nền kinh tế dựa chủ yếu ...</td>\n",
       "      <td>Sự bất bình đẳng giữa các dân tộc trong nền cô...</td>\n",
       "      <td>uit_008347</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 500, 'text': 'người Hoa chiế...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3019</th>\n",
       "      <td>Động vật lưỡng cư</td>\n",
       "      <td>Động vật lưỡng cư là các loài động vật có xươn...</td>\n",
       "      <td>Hầu hết động vật cổ đại có hộp sọ như thế nào?</td>\n",
       "      <td>uit_003020</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 633, 'text': 'rộng và ngắn, ...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2891</th>\n",
       "      <td>Thổ Nhĩ Kỳ</td>\n",
       "      <td>Đến năm 2011, Thổ Nhĩ Kỳ có 166 đại học. Nhập ...</td>\n",
       "      <td>Các học sinh trên thế giới được đưa vào trường...</td>\n",
       "      <td>uit_002892</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 85, 'text': 'kết quả khảo th...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13478</th>\n",
       "      <td>Mặt trận Dân tộc Giải phóng miền Nam Việt Nam</td>\n",
       "      <td>Tuy nhiên sự thật các cải cách của ông kéo the...</td>\n",
       "      <td>Các chính sách cải cách của Ngô Đình Diệm bắt ...</td>\n",
       "      <td>uit_013479</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 618, 'text': '1959'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8141</th>\n",
       "      <td>Khánh Hòa</td>\n",
       "      <td>Trước thời nhà Nguyễn, vì là đất mới được mở m...</td>\n",
       "      <td>Cấp bậc học nào ngày nay tương đương với bậc Đ...</td>\n",
       "      <td>uit_008142</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 882, 'text': 'bậc Phổ thông ...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1191</th>\n",
       "      <td>Albert Einstein</td>\n",
       "      <td>Các bài báo ban đầu của Einstein bắt nguồn từ ...</td>\n",
       "      <td>Nhà khoa học Einstein đã có chứng cứ về sự tồn...</td>\n",
       "      <td>uit_001192</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 327, 'text': 'Antoine Lavois...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14572</th>\n",
       "      <td>Cộng hòa Síp</td>\n",
       "      <td>Tháng 1 năm 1950 Nhà thờ Chính thống phương Đô...</td>\n",
       "      <td>Cộng đồng người Síp Thổ Nhĩ Kỳ phản ứng thế nà...</td>\n",
       "      <td>uit_014573</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 117, 'text': 'tẩy chay'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3930</th>\n",
       "      <td>Roma</td>\n",
       "      <td>Roma đã phát triển thành nơi lưu trữ nghệ thuậ...</td>\n",
       "      <td>Năm 2010, sự kiện kiến trúc nào đã diễn ra tại...</td>\n",
       "      <td>uit_003931</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 311, 'text': 'buổi khai trươ...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11787</th>\n",
       "      <td>George Washington</td>\n",
       "      <td>Các sử gia vẫn còn tranh luận rằng có phải chă...</td>\n",
       "      <td>Washington đã có những trận đánh chiến thắng l...</td>\n",
       "      <td>uit_011788</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 769, 'text': 'thí dụ như các...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2000 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               title  \\\n",
       "14573                                   Cộng hòa Síp   \n",
       "8346                                        Malaysia   \n",
       "3019                               Động vật lưỡng cư   \n",
       "2891                                      Thổ Nhĩ Kỳ   \n",
       "13478  Mặt trận Dân tộc Giải phóng miền Nam Việt Nam   \n",
       "...                                              ...   \n",
       "8141                                       Khánh Hòa   \n",
       "1191                                 Albert Einstein   \n",
       "14572                                   Cộng hòa Síp   \n",
       "3930                                            Roma   \n",
       "11787                              George Washington   \n",
       "\n",
       "                                                 context  \\\n",
       "14573  Tháng 1 năm 1950 Nhà thờ Chính thống phương Đô...   \n",
       "8346   Trong thập niên 1970, nền kinh tế dựa chủ yếu ...   \n",
       "3019   Động vật lưỡng cư là các loài động vật có xươn...   \n",
       "2891   Đến năm 2011, Thổ Nhĩ Kỳ có 166 đại học. Nhập ...   \n",
       "13478  Tuy nhiên sự thật các cải cách của ông kéo the...   \n",
       "...                                                  ...   \n",
       "8141   Trước thời nhà Nguyễn, vì là đất mới được mở m...   \n",
       "1191   Các bài báo ban đầu của Einstein bắt nguồn từ ...   \n",
       "14572  Tháng 1 năm 1950 Nhà thờ Chính thống phương Đô...   \n",
       "3930   Roma đã phát triển thành nơi lưu trữ nghệ thuậ...   \n",
       "11787  Các sử gia vẫn còn tranh luận rằng có phải chă...   \n",
       "\n",
       "                                                question          id answer  \\\n",
       "14573  Mục đích thành lập của tổ chức Kháng chiến Thổ...  uit_014574     []   \n",
       "8346   Sự bất bình đẳng giữa các dân tộc trong nền cô...  uit_008347     []   \n",
       "3019      Hầu hết động vật cổ đại có hộp sọ như thế nào?  uit_003020     []   \n",
       "2891   Các học sinh trên thế giới được đưa vào trường...  uit_002892     []   \n",
       "13478  Các chính sách cải cách của Ngô Đình Diệm bắt ...  uit_013479     []   \n",
       "...                                                  ...         ...    ...   \n",
       "8141   Cấp bậc học nào ngày nay tương đương với bậc Đ...  uit_008142     []   \n",
       "1191   Nhà khoa học Einstein đã có chứng cứ về sự tồn...  uit_001192     []   \n",
       "14572  Cộng đồng người Síp Thổ Nhĩ Kỳ phản ứng thế nà...  uit_014573     []   \n",
       "3930   Năm 2010, sự kiện kiến trúc nào đã diễn ra tại...  uit_003931     []   \n",
       "11787  Washington đã có những trận đánh chiến thắng l...  uit_011788     []   \n",
       "\n",
       "                                       plausible_answers  is_impossible  \n",
       "14573  [{'answer_start': 416, 'text': 'tìm kiếm độc l...           True  \n",
       "8346   [{'answer_start': 500, 'text': 'người Hoa chiế...           True  \n",
       "3019   [{'answer_start': 633, 'text': 'rộng và ngắn, ...           True  \n",
       "2891   [{'answer_start': 85, 'text': 'kết quả khảo th...           True  \n",
       "13478            [{'answer_start': 618, 'text': '1959'}]           True  \n",
       "...                                                  ...            ...  \n",
       "8141   [{'answer_start': 882, 'text': 'bậc Phổ thông ...           True  \n",
       "1191   [{'answer_start': 327, 'text': 'Antoine Lavois...           True  \n",
       "14572        [{'answer_start': 117, 'text': 'tẩy chay'}]           True  \n",
       "3930   [{'answer_start': 311, 'text': 'buổi khai trươ...           True  \n",
       "11787  [{'answer_start': 769, 'text': 'thí dụ như các...           True  \n",
       "\n",
       "[2000 rows x 7 columns]"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "negative_value"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_df.drop(negative_value.index, inplace=True)\n",
    "train_df = train_df.reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>id</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...</td>\n",
       "      <td>uit_000001</td>\n",
       "      <td>[{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...</td>\n",
       "      <td>uit_000002</td>\n",
       "      <td>[{'answer_start': 60, 'text': 'Thủ tướng'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...</td>\n",
       "      <td>uit_000003</td>\n",
       "      <td>[{'answer_start': 245, 'text': 'Thủ tướng Chín...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng trước k...</td>\n",
       "      <td>uit_000004</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...</td>\n",
       "      <td>uit_000005</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 60, 'text': 'Thủ tướng'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26452</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...</td>\n",
       "      <td>uit_028453</td>\n",
       "      <td>[{'answer_start': 0, 'text': 'Năm 1958'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26453</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Các nước nào đã ký kết hiệp ước với Pháp để tu...</td>\n",
       "      <td>uit_028454</td>\n",
       "      <td>[{'answer_start': 570, 'text': 'Algérie, Tunis...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26454</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...</td>\n",
       "      <td>uit_028455</td>\n",
       "      <td>[{'answer_start': 288, 'text': 'Algérie'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26455</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...</td>\n",
       "      <td>uit_028456</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 114, 'text': 'mỗi quốc gia h...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26456</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chính phủ các quốc gia từng đô hộ Pháp, nay th...</td>\n",
       "      <td>uit_028457</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 467, 'text': 'tiếp tục đàm p...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>26457 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                        title  \\\n",
       "0               Phạm Văn Đồng   \n",
       "1               Phạm Văn Đồng   \n",
       "2               Phạm Văn Đồng   \n",
       "3               Phạm Văn Đồng   \n",
       "4               Phạm Văn Đồng   \n",
       "...                       ...   \n",
       "26452  Chiến tranh Đông Dương   \n",
       "26453  Chiến tranh Đông Dương   \n",
       "26454  Chiến tranh Đông Dương   \n",
       "26455  Chiến tranh Đông Dương   \n",
       "26456  Chiến tranh Đông Dương   \n",
       "\n",
       "                                                 context  \\\n",
       "0      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "1      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "2      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "3      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "4      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "...                                                  ...   \n",
       "26452  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26453  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26454  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26455  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26456  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "\n",
       "                                                question          id  \\\n",
       "0      Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...  uit_000001   \n",
       "1      Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...  uit_000002   \n",
       "2      Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...  uit_000003   \n",
       "3      Tên gọi nào được Phạm Văn Đồng sử dụng trước k...  uit_000004   \n",
       "4      Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...  uit_000005   \n",
       "...                                                  ...         ...   \n",
       "26452  Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...  uit_028453   \n",
       "26453  Các nước nào đã ký kết hiệp ước với Pháp để tu...  uit_028454   \n",
       "26454  Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...  uit_028455   \n",
       "26455  Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...  uit_028456   \n",
       "26456  Chính phủ các quốc gia từng đô hộ Pháp, nay th...  uit_028457   \n",
       "\n",
       "                                                  answer  \\\n",
       "0         [{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]   \n",
       "1            [{'answer_start': 60, 'text': 'Thủ tướng'}]   \n",
       "2      [{'answer_start': 245, 'text': 'Thủ tướng Chín...   \n",
       "3                                                     []   \n",
       "4                                                     []   \n",
       "...                                                  ...   \n",
       "26452          [{'answer_start': 0, 'text': 'Năm 1958'}]   \n",
       "26453  [{'answer_start': 570, 'text': 'Algérie, Tunis...   \n",
       "26454         [{'answer_start': 288, 'text': 'Algérie'}]   \n",
       "26455                                                 []   \n",
       "26456                                                 []   \n",
       "\n",
       "                                       plausible_answers  is_impossible  \n",
       "0                                                     []          False  \n",
       "1                                                     []          False  \n",
       "2                                                     []          False  \n",
       "3         [{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]           True  \n",
       "4            [{'answer_start': 60, 'text': 'Thủ tướng'}]           True  \n",
       "...                                                  ...            ...  \n",
       "26452                                                 []          False  \n",
       "26453                                                 []          False  \n",
       "26454                                                 []          False  \n",
       "26455  [{'answer_start': 114, 'text': 'mỗi quốc gia h...           True  \n",
       "26456  [{'answer_start': 467, 'text': 'tiếp tục đàm p...           True  \n",
       "\n",
       "[26457 rows x 7 columns]"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "val_df = pd.concat([negative_value[:1000], val_df]).sort_values('id').reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_df = pd.concat([negative_value[1000:], test_df]).sort_values('id').reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 26457/26457 [00:03<00:00, 7454.54it/s]\n"
     ]
    }
   ],
   "source": [
    "v2_train_new = convert_to_json(train_df)\n",
    "with open('./MRC_VLSP/v2_train_ViQuAD_new.json', 'w', encoding='utf8') as f:\n",
    "    json.dump(v2_train_new, f, ensure_ascii=False, indent=4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>id</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...</td>\n",
       "      <td>uit_000001</td>\n",
       "      <td>[{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...</td>\n",
       "      <td>uit_000002</td>\n",
       "      <td>[{'answer_start': 60, 'text': 'Thủ tướng'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...</td>\n",
       "      <td>uit_000003</td>\n",
       "      <td>[{'answer_start': 245, 'text': 'Thủ tướng Chín...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng trước k...</td>\n",
       "      <td>uit_000004</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...</td>\n",
       "      <td>uit_000005</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 60, 'text': 'Thủ tướng'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26452</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...</td>\n",
       "      <td>uit_028453</td>\n",
       "      <td>[{'answer_start': 0, 'text': 'Năm 1958'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26453</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Các nước nào đã ký kết hiệp ước với Pháp để tu...</td>\n",
       "      <td>uit_028454</td>\n",
       "      <td>[{'answer_start': 570, 'text': 'Algérie, Tunis...</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26454</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...</td>\n",
       "      <td>uit_028455</td>\n",
       "      <td>[{'answer_start': 288, 'text': 'Algérie'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26455</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...</td>\n",
       "      <td>uit_028456</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 114, 'text': 'mỗi quốc gia h...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26456</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chính phủ các quốc gia từng đô hộ Pháp, nay th...</td>\n",
       "      <td>uit_028457</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 467, 'text': 'tiếp tục đàm p...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>26457 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                        title  \\\n",
       "0               Phạm Văn Đồng   \n",
       "1               Phạm Văn Đồng   \n",
       "2               Phạm Văn Đồng   \n",
       "3               Phạm Văn Đồng   \n",
       "4               Phạm Văn Đồng   \n",
       "...                       ...   \n",
       "26452  Chiến tranh Đông Dương   \n",
       "26453  Chiến tranh Đông Dương   \n",
       "26454  Chiến tranh Đông Dương   \n",
       "26455  Chiến tranh Đông Dương   \n",
       "26456  Chiến tranh Đông Dương   \n",
       "\n",
       "                                                 context  \\\n",
       "0      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "1      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "2      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "3      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "4      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "...                                                  ...   \n",
       "26452  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26453  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26454  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26455  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "26456  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "\n",
       "                                                question          id  \\\n",
       "0      Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...  uit_000001   \n",
       "1      Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...  uit_000002   \n",
       "2      Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...  uit_000003   \n",
       "3      Tên gọi nào được Phạm Văn Đồng sử dụng trước k...  uit_000004   \n",
       "4      Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...  uit_000005   \n",
       "...                                                  ...         ...   \n",
       "26452  Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...  uit_028453   \n",
       "26453  Các nước nào đã ký kết hiệp ước với Pháp để tu...  uit_028454   \n",
       "26454  Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...  uit_028455   \n",
       "26455  Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...  uit_028456   \n",
       "26456  Chính phủ các quốc gia từng đô hộ Pháp, nay th...  uit_028457   \n",
       "\n",
       "                                                  answer  \\\n",
       "0         [{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]   \n",
       "1            [{'answer_start': 60, 'text': 'Thủ tướng'}]   \n",
       "2      [{'answer_start': 245, 'text': 'Thủ tướng Chín...   \n",
       "3                                                     []   \n",
       "4                                                     []   \n",
       "...                                                  ...   \n",
       "26452          [{'answer_start': 0, 'text': 'Năm 1958'}]   \n",
       "26453  [{'answer_start': 570, 'text': 'Algérie, Tunis...   \n",
       "26454         [{'answer_start': 288, 'text': 'Algérie'}]   \n",
       "26455                                                 []   \n",
       "26456                                                 []   \n",
       "\n",
       "                                       plausible_answers  is_impossible  \n",
       "0                                                     []          False  \n",
       "1                                                     []          False  \n",
       "2                                                     []          False  \n",
       "3         [{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]           True  \n",
       "4            [{'answer_start': 60, 'text': 'Thủ tướng'}]           True  \n",
       "...                                                  ...            ...  \n",
       "26452                                                 []          False  \n",
       "26453                                                 []          False  \n",
       "26454                                                 []          False  \n",
       "26455  [{'answer_start': 114, 'text': 'mỗi quốc gia h...           True  \n",
       "26456  [{'answer_start': 467, 'text': 'tiếp tục đàm p...           True  \n",
       "\n",
       "[26457 rows x 7 columns]"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "to_df('/home/brownyeyes/WorkDirectory/Multidocs-MRC/MRC_VLSP/v2_train_ViQuAD_new.json')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 3285/3285 [00:00<00:00, 8644.25it/s]\n"
     ]
    }
   ],
   "source": [
    "v2_val_new = convert_to_json(val_df)\n",
    "with open('./MRC_VLSP/v2_dev_ViQuAD.json', 'w', encoding='utf8') as f:\n",
    "    json.dump(v2_val_new, f, ensure_ascii=False, indent=4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 3210/3210 [00:00<00:00, 8357.71it/s]\n"
     ]
    }
   ],
   "source": [
    "v2_test = convert_to_json(test_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [],
   "source": [
    "v2_test['version'] = '2.0'\n",
    "with open('./MRC_VLSP/v2_test_ViQuAD.json', 'w', encoding='utf8') as f:\n",
    "    json.dump(v2_test, f, ensure_ascii=False, indent=4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>id</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Thực vật có hoa</td>\n",
       "      <td>Thuật ngữ để chỉ thực vật hạt kín là \"Angiospe...</td>\n",
       "      <td>Robert Brown phát hiện sự tồn tại của lá mầm t...</td>\n",
       "      <td>uit_000047</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 855, 'text': 'năm 1827'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Thực vật có hoa</td>\n",
       "      <td>Trong phần lớn các hệ thống phân loại, thực vậ...</td>\n",
       "      <td>Hệ thống nào xem thực vật có hoa ở cấp độ nhánh?</td>\n",
       "      <td>uit_000076</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 665, 'text': 'Hệ thống Dahlg...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Thực vật có hoa</td>\n",
       "      <td>Phân loại nội bộ của nhóm này đã qua nhiều tha...</td>\n",
       "      <td>Hệ thống phân loại nhóm thực vật Cronquist đượ...</td>\n",
       "      <td>uit_000084</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 179, 'text': 'năm 1968'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Thực vật có hoa</td>\n",
       "      <td>Theo truyền thống, thực vật có hoa được chia t...</td>\n",
       "      <td>Trong hội nghị Cronquist chia thực vật có hoa ...</td>\n",
       "      <td>uit_000089</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 51, 'text': 'hai'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Thực vật có hoa</td>\n",
       "      <td>Giống như ở thực vật hạt trần, các bào tử được...</td>\n",
       "      <td>Lá có thể quyết rũ được côn trùng và chim nhờ ...</td>\n",
       "      <td>uit_000125</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 1041, 'text': 'màu sắc và mù...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3205</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Hoa Kỳ cần có quan hệ đồng minh với Pháp để th...</td>\n",
       "      <td>Nhật Bản đã làm gì để cảm ơn sự giải cứu các p...</td>\n",
       "      <td>uit_028362</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 430, 'text': 'cơ quan tình b...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3206</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Từ năm 1949, sau khi Nội chiến Trung Quốc kết ...</td>\n",
       "      <td>Ở Trung Quốc, cuộc chiến tranh nào diễn ra sau...</td>\n",
       "      <td>uit_028378</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 63, 'text': 'chiến tranh Tri...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3207</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Để đối phó với các áp lực chính trị, quân sự v...</td>\n",
       "      <td>Sự kiện gì diễn ra vào ngày 16/2/1949?</td>\n",
       "      <td>uit_028392</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 321, 'text': 'Bộ Ngoại giao ...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3208</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Đầu năm 1950, Hoa Kỳ bắt đầu gửi viện trợ quân...</td>\n",
       "      <td>Tại sao Pháp nhanh chóng viện trợ cho Mỹ ở Đôn...</td>\n",
       "      <td>uit_028397</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 79, 'text': 'Do chiến tranh ...</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3209</th>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Hội nghị tuyên bố chấm dứt chiến tranh ở Lào v...</td>\n",
       "      <td>Lào và Myanmar có gia nhập liên minh quân sự n...</td>\n",
       "      <td>uit_028435</td>\n",
       "      <td>[]</td>\n",
       "      <td>[{'answer_start': 260, 'text': 'không'}]</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>3210 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                       title  \\\n",
       "0            Thực vật có hoa   \n",
       "1            Thực vật có hoa   \n",
       "2            Thực vật có hoa   \n",
       "3            Thực vật có hoa   \n",
       "4            Thực vật có hoa   \n",
       "...                      ...   \n",
       "3205  Chiến tranh Đông Dương   \n",
       "3206  Chiến tranh Đông Dương   \n",
       "3207  Chiến tranh Đông Dương   \n",
       "3208  Chiến tranh Đông Dương   \n",
       "3209  Chiến tranh Đông Dương   \n",
       "\n",
       "                                                context  \\\n",
       "0     Thuật ngữ để chỉ thực vật hạt kín là \"Angiospe...   \n",
       "1     Trong phần lớn các hệ thống phân loại, thực vậ...   \n",
       "2     Phân loại nội bộ của nhóm này đã qua nhiều tha...   \n",
       "3     Theo truyền thống, thực vật có hoa được chia t...   \n",
       "4     Giống như ở thực vật hạt trần, các bào tử được...   \n",
       "...                                                 ...   \n",
       "3205  Hoa Kỳ cần có quan hệ đồng minh với Pháp để th...   \n",
       "3206  Từ năm 1949, sau khi Nội chiến Trung Quốc kết ...   \n",
       "3207  Để đối phó với các áp lực chính trị, quân sự v...   \n",
       "3208  Đầu năm 1950, Hoa Kỳ bắt đầu gửi viện trợ quân...   \n",
       "3209  Hội nghị tuyên bố chấm dứt chiến tranh ở Lào v...   \n",
       "\n",
       "                                               question          id answer  \\\n",
       "0     Robert Brown phát hiện sự tồn tại của lá mầm t...  uit_000047     []   \n",
       "1      Hệ thống nào xem thực vật có hoa ở cấp độ nhánh?  uit_000076     []   \n",
       "2     Hệ thống phân loại nhóm thực vật Cronquist đượ...  uit_000084     []   \n",
       "3     Trong hội nghị Cronquist chia thực vật có hoa ...  uit_000089     []   \n",
       "4     Lá có thể quyết rũ được côn trùng và chim nhờ ...  uit_000125     []   \n",
       "...                                                 ...         ...    ...   \n",
       "3205  Nhật Bản đã làm gì để cảm ơn sự giải cứu các p...  uit_028362     []   \n",
       "3206  Ở Trung Quốc, cuộc chiến tranh nào diễn ra sau...  uit_028378     []   \n",
       "3207             Sự kiện gì diễn ra vào ngày 16/2/1949?  uit_028392     []   \n",
       "3208  Tại sao Pháp nhanh chóng viện trợ cho Mỹ ở Đôn...  uit_028397     []   \n",
       "3209  Lào và Myanmar có gia nhập liên minh quân sự n...  uit_028435     []   \n",
       "\n",
       "                                      plausible_answers  is_impossible  \n",
       "0           [{'answer_start': 855, 'text': 'năm 1827'}]           True  \n",
       "1     [{'answer_start': 665, 'text': 'Hệ thống Dahlg...           True  \n",
       "2           [{'answer_start': 179, 'text': 'năm 1968'}]           True  \n",
       "3                 [{'answer_start': 51, 'text': 'hai'}]           True  \n",
       "4     [{'answer_start': 1041, 'text': 'màu sắc và mù...           True  \n",
       "...                                                 ...            ...  \n",
       "3205  [{'answer_start': 430, 'text': 'cơ quan tình b...           True  \n",
       "3206  [{'answer_start': 63, 'text': 'chiến tranh Tri...           True  \n",
       "3207  [{'answer_start': 321, 'text': 'Bộ Ngoại giao ...           True  \n",
       "3208  [{'answer_start': 79, 'text': 'Do chiến tranh ...           True  \n",
       "3209           [{'answer_start': 260, 'text': 'không'}]           True  \n",
       "\n",
       "[3210 rows x 7 columns]"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "to_df('./MRC_VLSP/v2_test_ViQuAD.json')"
   ]
  },
  {
   "cell_type": "code",
<<<<<<< HEAD
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "%%capture\n",
    "import random\n",
    "df = to_df('/home/brownyeyes/WorkDirectory/Multidocs-MRC/MRC_VLSP/v2_train_ViQuAD_new.json')\n",
    "from tqdm import tqdm\n",
    "title_dict = {}\n",
    "for _, row in df.iterrows():\n",
    "    title = row['title']\n",
    "    context = row['context']\n",
    "    question = row['question']\n",
    "    answer = row['answer']\n",
    "    # if not answer:  # handle empty answer case\n",
    "    #     answer = [{'text': '', 'answer_start': -1}]\n",
    "    # text = answer[0]['text']\n",
    "    # answer_start = answer[0]['answer_start']\n",
    "    if title not in title_dict:\n",
    "        title_dict[title] = {}\n",
    "    if context not in title_dict[title]:\n",
    "        title_dict[title][context] = []\n",
    "    title_dict[title][context].append((question, answer))\n",
    "\n",
    "# iterate through each title and randomly select a new context for each question and answer pair\n",
    "new_title_dict = {}\n",
    "for title in tqdm(title_dict):\n",
    "    new_title_dict[title] = {}\n",
    "    for context in title_dict[title]:\n",
    "        new_title_dict[title][context] = title_dict[title][context]\n",
    "        for i, (question, answer) in enumerate(title_dict[title][context]):\n",
    "            new_context = random.choice(list(title_dict[title].keys()))\n",
    "            if not answer:\n",
    "                new_question_answer = (question, answer)\n",
    "            elif answer[0]['text'] not in new_context:\n",
    "                new_question_answer = (question, [])\n",
    "            # else:\n",
    "            #     text = answer[0]['text']\n",
    "            #     new_context = context\n",
    "            #     while new_context == context or text in new_context:\n",
    "            #         new_context = random.choice(list(title_dict[title].keys()))\n",
    "            #     new_answer = [{'text': text, 'answer_start': answer_start}]\n",
    "            #     new_question_answer = (question, new_answer)\n",
    "            try:\n",
    "                new_title_dict[title][new_context].append(new_question_answer)\n",
    "            except:\n",
    "                pass\n",
    "\n",
    "\n",
    "# create a new dataframe from the updated dictionary\n",
    "new_df = pd.DataFrame(columns=['context', 'title', 'question', 'answer'])\n",
    "for title in tqdm(new_title_dict):\n",
    "    for context in new_title_dict[title]:\n",
    "        for question, answer in new_title_dict[title][context]:\n",
    "            new_row = {'context': context, 'title': title, 'question': question, 'answer': answer}\n",
    "            new_df = new_df.append(new_row, ignore_index=True)"
=======
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = to_df('/Users/brownyeyes/Project/Multidocs-MRC/MRC_VLSP/v2_train_ViQuAD_new.json')"
>>>>>>> 77e0c86 (.)
   ]
  },
  {
   "cell_type": "code",
<<<<<<< HEAD
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>context</th>\n",
       "      <th>title</th>\n",
       "      <th>question</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>id</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...</td>\n",
       "      <td>[{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_00001</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...</td>\n",
       "      <td>[{'answer_start': 60, 'text': 'Thủ tướng'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_00002</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...</td>\n",
       "      <td>[{'answer_start': 245, 'text': 'Thủ tướng Chín...</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_00003</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng trước k...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_00004</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_00005</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40383</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...</td>\n",
       "      <td>[{'answer_start': 0, 'text': 'Năm 1958'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_40384</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40384</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Các nước nào đã ký kết hiệp ước với Pháp để tu...</td>\n",
       "      <td>[{'answer_start': 570, 'text': 'Algérie, Tunis...</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_40385</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40385</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...</td>\n",
       "      <td>[{'answer_start': 288, 'text': 'Algérie'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_40386</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40386</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_40387</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40387</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Chính phủ các quốc gia từng đô hộ Pháp, nay th...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_40388</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>40388 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                 context  \\\n",
       "0      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "1      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "2      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "3      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "4      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "...                                                  ...   \n",
       "40383  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40384  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40385  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40386  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40387  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "\n",
       "                        title  \\\n",
       "0               Phạm Văn Đồng   \n",
       "1               Phạm Văn Đồng   \n",
       "2               Phạm Văn Đồng   \n",
       "3               Phạm Văn Đồng   \n",
       "4               Phạm Văn Đồng   \n",
       "...                       ...   \n",
       "40383  Chiến tranh Đông Dương   \n",
       "40384  Chiến tranh Đông Dương   \n",
       "40385  Chiến tranh Đông Dương   \n",
       "40386  Chiến tranh Đông Dương   \n",
       "40387  Chiến tranh Đông Dương   \n",
       "\n",
       "                                                question  \\\n",
       "0      Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...   \n",
       "1      Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...   \n",
       "2      Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...   \n",
       "3      Tên gọi nào được Phạm Văn Đồng sử dụng trước k...   \n",
       "4      Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...   \n",
       "...                                                  ...   \n",
       "40383  Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...   \n",
       "40384  Các nước nào đã ký kết hiệp ước với Pháp để tu...   \n",
       "40385  Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...   \n",
       "40386  Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...   \n",
       "40387  Chính phủ các quốc gia từng đô hộ Pháp, nay th...   \n",
       "\n",
       "                                                  answer plausible_answers  \\\n",
       "0         [{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]                []   \n",
       "1            [{'answer_start': 60, 'text': 'Thủ tướng'}]                []   \n",
       "2      [{'answer_start': 245, 'text': 'Thủ tướng Chín...                []   \n",
       "3                                                     []                []   \n",
       "4                                                     []                []   \n",
       "...                                                  ...               ...   \n",
       "40383          [{'answer_start': 0, 'text': 'Năm 1958'}]                []   \n",
       "40384  [{'answer_start': 570, 'text': 'Algérie, Tunis...                []   \n",
       "40385         [{'answer_start': 288, 'text': 'Algérie'}]                []   \n",
       "40386                                                 []                []   \n",
       "40387                                                 []                []   \n",
       "\n",
       "                     id  \n",
       "0        uit_able_00001  \n",
       "1        uit_able_00002  \n",
       "2        uit_able_00003  \n",
       "3      uit_unable_00004  \n",
       "4      uit_unable_00005  \n",
       "...                 ...  \n",
       "40383    uit_able_40384  \n",
       "40384    uit_able_40385  \n",
       "40385    uit_able_40386  \n",
       "40386  uit_unable_40387  \n",
       "40387  uit_unable_40388  \n",
       "\n",
       "[40388 rows x 6 columns]"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "new_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [],
   "source": [
    "plausible = [[] for i in range(len(new_df))]\n",
    "new_df['plausible_answers'] = plausible"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "new_df['is_impossible'] = [True if not answer else False for answer in new_df['answer']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "ids = []\n",
    "for id, answer in enumerate(new_df['answer']):\n",
    "    if not answer:\n",
    "        type = 'unable'\n",
    "    else:\n",
    "        type = 'able'\n",
    "    ids.append(f'uit_{type}_{str(id+1).zfill(5)}')\n",
    "new_df['id'] = ids"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>context</th>\n",
       "      <th>title</th>\n",
       "      <th>question</th>\n",
       "      <th>answer</th>\n",
       "      <th>plausible_answers</th>\n",
       "      <th>id</th>\n",
       "      <th>is_impossible</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...</td>\n",
       "      <td>[{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_00001</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...</td>\n",
       "      <td>[{'answer_start': 60, 'text': 'Thủ tướng'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_00002</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...</td>\n",
       "      <td>[{'answer_start': 245, 'text': 'Thủ tướng Chín...</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_00003</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Tên gọi nào được Phạm Văn Đồng sử dụng trước k...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_00004</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...</td>\n",
       "      <td>Phạm Văn Đồng</td>\n",
       "      <td>Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_00005</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40383</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...</td>\n",
       "      <td>[{'answer_start': 0, 'text': 'Năm 1958'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_40384</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40384</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Các nước nào đã ký kết hiệp ước với Pháp để tu...</td>\n",
       "      <td>[{'answer_start': 570, 'text': 'Algérie, Tunis...</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_40385</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40385</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...</td>\n",
       "      <td>[{'answer_start': 288, 'text': 'Algérie'}]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_able_40386</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40386</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_40387</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40387</th>\n",
       "      <td>Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...</td>\n",
       "      <td>Chiến tranh Đông Dương</td>\n",
       "      <td>Chính phủ các quốc gia từng đô hộ Pháp, nay th...</td>\n",
       "      <td>[]</td>\n",
       "      <td>[]</td>\n",
       "      <td>uit_unable_40388</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>40388 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                 context  \\\n",
       "0      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "1      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "2      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "3      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "4      Phạm Văn Đồng (1 tháng 3 năm 1906 - 29 tháng 4...   \n",
       "...                                                  ...   \n",
       "40383  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40384  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40385  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40386  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "40387  Năm 1958, Cộng đồng Pháp khai sinh và Liên hiệ...   \n",
       "\n",
       "                        title  \\\n",
       "0               Phạm Văn Đồng   \n",
       "1               Phạm Văn Đồng   \n",
       "2               Phạm Văn Đồng   \n",
       "3               Phạm Văn Đồng   \n",
       "4               Phạm Văn Đồng   \n",
       "...                       ...   \n",
       "40383  Chiến tranh Đông Dương   \n",
       "40384  Chiến tranh Đông Dương   \n",
       "40385  Chiến tranh Đông Dương   \n",
       "40386  Chiến tranh Đông Dương   \n",
       "40387  Chiến tranh Đông Dương   \n",
       "\n",
       "                                                question  \\\n",
       "0      Tên gọi nào được Phạm Văn Đồng sử dụng khi làm...   \n",
       "1      Phạm Văn Đồng giữ chức vụ gì trong bộ máy Nhà ...   \n",
       "2      Giai đoạn năm 1955-1976, Phạm Văn Đồng nắm giữ...   \n",
       "3      Tên gọi nào được Phạm Văn Đồng sử dụng trước k...   \n",
       "4      Hồ Học Lãm giữ chức vụ gì trong bộ máy Nhà nướ...   \n",
       "...                                                  ...   \n",
       "40383  Thời kì Liên hiệp Pháp lãnh đạo kết thúc vào t...   \n",
       "40384  Các nước nào đã ký kết hiệp ước với Pháp để tu...   \n",
       "40385  Quốc gia nào tiếp tục sử dụng biện pháp bạo lự...   \n",
       "40386  Điều 68 Hiến pháp Pháp (năm 1958) quy định nhữ...   \n",
       "40387  Chính phủ các quốc gia từng đô hộ Pháp, nay th...   \n",
       "\n",
       "                                                  answer plausible_answers  \\\n",
       "0         [{'answer_start': 507, 'text': 'Lâm Bá Kiệt'}]                []   \n",
       "1            [{'answer_start': 60, 'text': 'Thủ tướng'}]                []   \n",
       "2      [{'answer_start': 245, 'text': 'Thủ tướng Chín...                []   \n",
       "3                                                     []                []   \n",
       "4                                                     []                []   \n",
       "...                                                  ...               ...   \n",
       "40383          [{'answer_start': 0, 'text': 'Năm 1958'}]                []   \n",
       "40384  [{'answer_start': 570, 'text': 'Algérie, Tunis...                []   \n",
       "40385         [{'answer_start': 288, 'text': 'Algérie'}]                []   \n",
       "40386                                                 []                []   \n",
       "40387                                                 []                []   \n",
       "\n",
       "                     id  is_impossible  \n",
       "0        uit_able_00001          False  \n",
       "1        uit_able_00002          False  \n",
       "2        uit_able_00003          False  \n",
       "3      uit_unable_00004           True  \n",
       "4      uit_unable_00005           True  \n",
       "...                 ...            ...  \n",
       "40383    uit_able_40384          False  \n",
       "40384    uit_able_40385          False  \n",
       "40385    uit_able_40386          False  \n",
       "40386  uit_unable_40387           True  \n",
       "40387  uit_unable_40388           True  \n",
       "\n",
       "[40388 rows x 7 columns]"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "new_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 40388/40388 [00:04<00:00, 10085.71it/s]\n"
=======
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "ename": "IndexError",
     "evalue": "list index out of range",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mIndexError\u001b[0m                                Traceback (most recent call last)",
      "Cell \u001b[0;32mIn[19], line 22\u001b[0m\n\u001b[1;32m     20\u001b[0m \u001b[39mif\u001b[39;00m context \u001b[39m==\u001b[39m ctx:\n\u001b[1;32m     21\u001b[0m     \u001b[39mcontinue\u001b[39;00m\n\u001b[0;32m---> 22\u001b[0m \u001b[39mif\u001b[39;00m answer[\u001b[39m0\u001b[39;49m][\u001b[39m'\u001b[39m\u001b[39mtext\u001b[39m\u001b[39m'\u001b[39m] \u001b[39mnot\u001b[39;00m \u001b[39min\u001b[39;00m ctx:\n\u001b[1;32m     23\u001b[0m     qa[question] \u001b[39m=\u001b[39m answer\n",
      "\u001b[0;31mIndexError\u001b[0m: list index out of range"
>>>>>>> 77e0c86 (.)
     ]
    }
   ],
   "source": [
<<<<<<< HEAD
    "augment_train = convert_to_json(new_df)"
=======
    "grouped = df.groupby(['title', 'context'])[['question', 'answer']].apply(lambda x: dict(zip(x['question'], x['answer']))).reset_index()\n",
    "\n",
    "# convert the grouped data to a dictionary\n",
    "result = {}\n",
    "for row in grouped.iterrows():\n",
    "    title = row[1]['title']\n",
    "    context = row[1]['context']\n",
    "    questions = row[1][0]\n",
    "    if title not in result:\n",
    "        result[title] = {}\n",
    "    if context not in result[title]:\n",
    "        result[title][context] = {}\n",
    "    result[title][context].update(questions)\n",
    "\n",
    "# augment the answers\n",
    "for title, contexts in result.items():\n",
    "    for context, questions in contexts.items():\n",
    "        for question, answer in questions.items():\n",
    "            for ctx, qa in contexts.items():\n",
    "                if context == ctx:\n",
    "                    continue\n",
    "                if answer[0]['text'] not in ctx:\n",
    "                    qa[question] = answer"
>>>>>>> 77e0c86 (.)
   ]
  },
  {
   "cell_type": "code",
<<<<<<< HEAD
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('./MRC_VLSP/v2_train_ViQuAD_augment.json', 'w', encoding='utf8') as f:\n",
    "    json.dump(augment_train, f, ensure_ascii=False, indent=4)"
=======
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{}"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "result"
>>>>>>> 77e0c86 (.)
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [],
   "source": [
    "import torch\n",
    "gru = torch.nn.GRU(input_size=768,hidden_size=256,bidirectional=True)\n",
    "\n",
    "a = torch.randn(256,768)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "torch.Size([1, 256])"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "gru(a)[1].shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Parameter containing:\n",
       "tensor([[ 0.0065,  0.0558, -0.0362, -0.0158,  0.0326, -0.0068, -0.0302, -0.0111,\n",
       "          0.0122, -0.0242,  0.0160, -0.0148, -0.0429,  0.0299, -0.0533,  0.0227,\n",
       "          0.0115, -0.0219,  0.0183,  0.0409, -0.0308, -0.0139, -0.0132,  0.0541,\n",
       "         -0.0395, -0.0137, -0.0131,  0.0010, -0.0520,  0.0392, -0.0256,  0.0449,\n",
       "         -0.0241,  0.0134,  0.0292, -0.0286,  0.0452, -0.0068, -0.0368,  0.0232,\n",
       "          0.0071, -0.0344,  0.0397,  0.0328,  0.0002, -0.0598, -0.0094,  0.0589,\n",
       "         -0.0467, -0.0343,  0.0037,  0.0176,  0.0118, -0.0534, -0.0462, -0.0508,\n",
       "         -0.0241, -0.0607, -0.0360, -0.0617,  0.0081,  0.0487, -0.0158,  0.0016,\n",
       "          0.0500, -0.0583, -0.0585, -0.0463, -0.0583, -0.0364,  0.0299, -0.0566,\n",
       "          0.0120, -0.0199,  0.0456,  0.0557,  0.0140, -0.0002,  0.0234,  0.0412,\n",
       "          0.0368,  0.0272,  0.0150,  0.0055,  0.0103, -0.0006,  0.0440,  0.0109,\n",
       "          0.0379,  0.0268,  0.0017, -0.0441,  0.0389,  0.0581,  0.0117,  0.0128,\n",
       "          0.0433, -0.0558,  0.0414, -0.0380, -0.0363,  0.0582,  0.0325,  0.0489,\n",
       "          0.0005,  0.0599, -0.0304, -0.0241,  0.0086, -0.0560,  0.0507,  0.0496,\n",
       "          0.0085,  0.0424, -0.0002, -0.0172,  0.0539,  0.0284,  0.0475, -0.0175,\n",
       "          0.0411, -0.0580,  0.0190, -0.0110, -0.0177,  0.0390,  0.0287, -0.0455,\n",
       "         -0.0533, -0.0013, -0.0130, -0.0064, -0.0073, -0.0472, -0.0175,  0.0265,\n",
       "          0.0302,  0.0162, -0.0018, -0.0159, -0.0076,  0.0094, -0.0381,  0.0045,\n",
       "          0.0293,  0.0089,  0.0390,  0.0550,  0.0262,  0.0218, -0.0357, -0.0173,\n",
       "         -0.0156,  0.0625, -0.0468, -0.0227,  0.0167, -0.0214, -0.0614, -0.0386,\n",
       "          0.0077, -0.0460, -0.0574,  0.0247,  0.0414, -0.0545,  0.0158, -0.0587,\n",
       "         -0.0223,  0.0543, -0.0050,  0.0437,  0.0099, -0.0189, -0.0034,  0.0328,\n",
       "          0.0308,  0.0429,  0.0538,  0.0468, -0.0058, -0.0155,  0.0066,  0.0230,\n",
       "         -0.0076,  0.0424, -0.0529, -0.0307,  0.0096, -0.0369,  0.0004, -0.0031,\n",
       "         -0.0550, -0.0231,  0.0353,  0.0050,  0.0060,  0.0049, -0.0521,  0.0145,\n",
       "         -0.0608,  0.0457,  0.0317, -0.0570,  0.0459, -0.0159, -0.0371, -0.0620,\n",
       "          0.0193, -0.0085, -0.0404,  0.0459, -0.0214, -0.0565, -0.0338,  0.0537,\n",
       "         -0.0610, -0.0152,  0.0545, -0.0317,  0.0357, -0.0203, -0.0497, -0.0185,\n",
       "          0.0218, -0.0155, -0.0219, -0.0593, -0.0096,  0.0040, -0.0424, -0.0407,\n",
       "          0.0332,  0.0233,  0.0528,  0.0344, -0.0164, -0.0453, -0.0396, -0.0184,\n",
       "         -0.0532,  0.0248,  0.0483,  0.0357,  0.0211,  0.0287,  0.0225,  0.0130,\n",
       "         -0.0351, -0.0430, -0.0055, -0.0243, -0.0478,  0.0449, -0.0609,  0.0244]],\n",
       "       requires_grad=True)"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "linear.weight"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "MRC",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.15"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "e53e5cc74a82cc7d39d2c850677dbd96fab9ef3feac1aaa589a2f0638447cf85"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}