テキストに制御文字が含まれているせいで前処理がエラーに

[KNRO-07152023]

初めて質問をさせていただきます．お手数をお掛けし恐縮ですが，どうぞよろしくお願いいたします．

■お使いのKH Coderのバージョン
3.Beta.01a

■KH Coderのインストール先フォルダ（解凍先フォルダ）
C:\khcoder3

■どんなエラー・不具合・問題ですか？
.txtファイル(英語）をアップロードし，前処理(Run PRe-Processing)を開始すると以下のエラーメッセージが出る．尚，エラーメッセージ画面を操作(OKなどいずれのボタンを押しても）前処理は画面上実行されている状態ですが，3時間程たっても処理終了メッセージは出ない．(ファイルサイズは2.2MB/4.4MB(文字コードを変えて試行錯誤したところ4.4MBになりました), パソコンのHDDは100GB以上の空き領域があります）

■どのように操作すればその問題を再現できますか？
(1)メニューよりProject -- > New -- > Browse -- > デスクトップにあるファイル選択 --> OK
(2)PRe-Processing -- > Run Pre-Processing -- > "It may take a while, May I continue?" (ポップアップ画面) -- > OK -- > (5秒程で)　"Error in kh_coder" ポップアップ画面表示（以下に写真を貼り付けます）

■エラー・メッセージ

■コンソール・ウィンドウの表示内容（Macではターミナルの表示内容）
Encoding of this Console: cp932
Encoding of this file system: cp932
This is KH Coder 3.Beta.01a on MSWin32.
CWD: C:/khcoder3
Available Physical Memory: 410MB
Checking MySQL connection...
Starting MySQL...
coder.ini not changed. skip saving...
win.ini not changed. skip saving...
2020-05-01 13:38:27 0 [Note] bin\mysqld (mysqld 5.6.39-log) starting as process 4468 ...
R Version: 3.1, i386
Using un-threaded functions...
Monitors: 0, 1366, 0, 768
new window: 858, 73
new window: 60, 83
new window: 164, 187
new window: 60, 83
new window: 164, 187
new window: 60, 83
Connected to MySQL 5.6, khc26.
Data dir: C:/khcoder3/config/khc26/
Connected to MySQL 5.6, khc26.
Checking icode (en)... UTF-16

■その問題はチュートリアルの漱石「こころ」データでも同様に発生しましたか？
いいえ（英語版チュートリアルAnneを使用）

■その問題を再現できるファイル（群）
以下にエラーの出るテキストファイル2つ(2.2GB/4.4GB)を添付いたします．
20200501ErrorFile_2mb.txt
20200501ErrorFile_4mb.txt

尚，上記ファイル内データは A から行抽出した英文が保存されております．同じ抽出方法で別の B から抽出した英文テキストファイルは問題なく動作しました．
問題なく動作したテキストファイルも念のため添付いたします．
20200501SucceededFile_1mb.txt

■お使いのOS
Windows 10

以上，思い当たること（ファイルの文字コードをUTF-8, Unicode, UnicodeBE, SJISに変更，改行コードをCR+LF, LF, CRに変換してみる）は実行したのですが，先に進むことができず，質問させていただく次第です．
お忙しいところ大変恐縮ですが，ご教授いただけますと幸いです．
どうぞよろしくお願い申し上げます．

[ko-ichi-h]

こんにちは、樋口です。詳細に状況をお知らせいただき、また問題が発生するファイルを添付していただきまことにありがとうございます。問題を解明するためにとても役立ちます。

さて、画面上に文字として表示されないタイプの特殊文字（制御文字）が、テキスト中に混入しているようです。そのためにお知らせいただいたエラーが発生しています。

無料のソフトウェアで対処する場合、「Notepad++」が一番簡単かなと思います。
https://notepad-plus-plus.org/

Notepad++をダウンロード・インストールして当該のテキストファイルを開き、Notepad++のメニューから「エンコード」→「ANSIに変換」を選択します。その後「上書き保存」すれば制御文字をすべて削除できます。

こちらで当該の操作を行ったファイルを一応添付しておきます。このファイルなら正常に前処理が完了します。
20200501ErrorFile_2mb_ed.txt

[KNRO-07152023]

樋口先生
早速にご返信いただきありがとうございます．

今ほど，添付いただいたファイルと，ご提示いただいた方法，共に前処理を実行し，正常に完了しました．
ご報告方々御礼申し上げます．
ご教授いただきありがとうございます．