From ec1df23489f186ed4b9c2991e9a31ead756ee30e Mon Sep 17 00:00:00 2001 From: edcrfv458 Date: Sun, 12 May 2024 18:55:22 +0900 Subject: [PATCH] =?UTF-8?q?fix:=20=ED=8C=A8=EB=94=A9=20=EC=A7=84=ED=96=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit #38 50 이상의 문장을 걸러낸 후 모든 문장을 50으로 패딩 진행 --- ...54\240\204 \354\203\235\354\204\261.ipynb" | 22 +++++++++---------- 1 file changed, 11 insertions(+), 11 deletions(-) diff --git "a/AI/\354\202\254\354\240\204 \354\203\235\354\204\261.ipynb" "b/AI/\354\202\254\354\240\204 \354\203\235\354\204\261.ipynb" index 15b6f89..18ae6ff 100644 --- "a/AI/\354\202\254\354\240\204 \354\203\235\354\204\261.ipynb" +++ "b/AI/\354\202\254\354\240\204 \354\203\235\354\204\261.ipynb" @@ -21055,14 +21055,14 @@ }, { "cell_type": "code", - "execution_count": 24, + "execution_count": 59, "metadata": {}, "outputs": [], "source": [ "dialect_padding = []\n", "standard_padding = []\n", "\n", - "for sentence in dialect_indices:\n", + "for sentence in filtered_dialect_indices:\n", " # sentence 중 dialect_max_len 보다 작은 것은 0으로 제로 패딩\n", " if len(sentence) <= dialect_max_len:\n", " padded_sentence = sentence + [0] * (dialect_max_len - len(sentence))\n", @@ -21073,7 +21073,7 @@ " dialect_padding.append(padded_sentence)\n", "\n", "\n", - "for sentence in standard_indices:\n", + "for sentence in filtered_standard_indices:\n", " # sentence 중 standard_max_len 보다 작은 것은 0으로 제로 패딩\n", " if len(sentence) <= standard_max_len:\n", " padded_sentence = sentence + [0] * (standard_max_len - len(sentence))\n", @@ -21086,17 +21086,17 @@ }, { "cell_type": "code", - "execution_count": 25, + "execution_count": 60, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "standard padding 리스트의 최대 길이: 41\n", - "dialect padding 리스트의 최대 길이: 41\n", - "standard padding 리스트의 최소 길이: 41\n", - "dialect padding 리스트의 최소 길이: 41\n" + "standard padding 리스트의 최대 길이: 50\n", + "dialect padding 리스트의 최대 길이: 50\n", + "standard padding 리스트의 최소 길이: 50\n", + "dialect padding 리스트의 최소 길이: 50\n" ] } ], @@ -21114,18 +21114,18 @@ }, { "cell_type": "code", - "execution_count": 26, + "execution_count": 61, "metadata": {}, "outputs": [], "source": [ "# 정수화된 방언 문장 csv로 저장\n", - "with open('dialect_padding_all.csv', 'w', newline='', encoding='utf-8') as csvfile:\n", + "with open('dialect_padding_data.csv', 'w', newline='', encoding='utf-8') as csvfile:\n", " writer = csv.writer(csvfile)\n", " for indices in dialect_padding:\n", " writer.writerow(indices)\n", "\n", "# 정수화된 표준어 문장 csv로 저장\n", - "with open('standard_padding_all.csv', 'w', newline='', encoding='utf-8') as csvfile:\n", + "with open('standard_padding_data.csv', 'w', newline='', encoding='utf-8') as csvfile:\n", " writer = csv.writer(csvfile)\n", " for indices in standard_padding:\n", " writer.writerow(indices)"