テキスト中に全角バックスラッシュ「＼」があると前処理に失敗する #645

umamimi · 2019-10-29T08:07:51Z

umamimi
Oct 29, 2019

樋口先生、お世話になります。
KH Coderを使って日本語の文章を解析しようとしているのですが、うまくいかないため質問させて頂きます。

現象としては、15000行ほどの日本語テキストデータに対して「前処理の実行」をすると、KH Coderが下記のエラーを吐いて落ちてしまいます（エラーは文末に転記します）。

実行環境は、Mac Mojave 10.14.6にXQuartz 2.7.11 (xorg-server 1.18.4)をインストールし、KH Coder（khcoder3）を実行しています。

下記の対処法はすべて試しましたが、効果がありませんでした。
・Macの再起動
・KH Coderの再インストール
・セキュリティソフトやファイアウォールの停止
・dep/mysql-5.6.17/khc.cnfをテキストエディタで開き，3行を追加して上書き保存
　default-storage-engine=MyISAM
　default-tmp-storage-engine=MyISAM
　skip-innodb
・< や >、絵文字が解析対象ファイルに混じっていないことを確認

また、チュートリアルの日本語の「こころ」に前処理を行うと、正常に実行されます。
英語文章のデータは問題なく処理されており、日本語だけに起こる問題のようです。

上記以外の対処法がございましたら、ご教示頂けますと幸いです。
よろしくお願いいたします。

ターミナル表示内容（クリックで表示）


Last login: Tue Oct 29 16:50:29 on ttys002
bash -c " cd "/Users/****/Downloads/khcoder3/";export LANG=ja_JP.UTF-8;export LC_ALL=ja_JP.UTF-8;export XMODIFIERS="@im=uim";export GTK_IM_MODULE=uim;export DYLD_FALLBACK_LIBRARY_PATH="/Users/*****/Downloads/khcoder3/deps/mysql-5.6.17/lib";./x_mac64 " 
*****s-MacBook-Air:~ *****$ bash -c " cd "/Users/*****/Downloads/khcoder3/";export LANG=ja_JP.UTF-8;export LC_ALL=ja_JP.UTF-8;export XMODIFIERS="@im=uim";export GTK_IM_MODULE=uim;export DYLD_FALLBACK_LIBRARY_PATH="/Users/*****/Downloads/khcoder3/deps/mysql-5.6.17/lib";./x_mac64 " 
Perl/Tk: 804.032
Locale: ja_JP.UTF-8
This is KH Coder 3.Alpha.16d on darwin.
CWD: /Users/*****/Downloads/khcoder3
Executing Mac OS X 64-bit Package
Checking MySQL connection...
Starting MySQL...
2019-10-29 17:01:37 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2019-10-29 17:01:37 2736 [Warning] Setting lower_case_table_names=2 because file system for /Users/*****/Downloads/khcoder3/deps/mysql-5.6.17/data/ is case insensitive
2019-10-29 17:01:37 2736 [Note] Plugin 'FEDERATED' is disabled.
2019-10-29 17:01:37 2736 [Warning] Using unique option prefix innodb-locks instead of innodb-locks-unsafe-for-binlog is deprecated and will be removed in a future release. Please use the full name instead.
2019-10-29 17:01:37 2736 [Warning] Using unique option prefix innodb-cmp instead of innodb-cmp-per-index-enabled is deprecated and will be removed in a future release. Please use the full name instead.
2019-10-29 17:01:37 2736 [Note] Plugin 'InnoDB' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_TRX' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_LOCK_WAITS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_CMP_RESET' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_CMPMEM' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_CMPMEM_RESET' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_CMP_PER_INDEX_RESET' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_BUFFER_PAGE' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_BUFFER_PAGE_LRU' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_BUFFER_POOL_STATS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_METRICS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_FT_DEFAULT_STOPWORD' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_FT_DELETED' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_FT_BEING_DELETED' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_FT_CONFIG' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_FT_INDEX_CACHE' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_FT_INDEX_TABLE' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_TABLES' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_TABLESTATS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_INDEXES' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_COLUMNS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_FIELDS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_FOREIGN' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_FOREIGN_COLS' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_TABLESPACES' is disabled.
2019-10-29 17:01:37 2736 [Note] Plugin 'INNODB_SYS_DATAFILES' is disabled.
2019-10-29 17:01:37 2736 [Warning] Info table is not ready to be used. Table 'mysql.slave_master_info' cannot be opened.
2019-10-29 17:01:37 2736 [Warning] Info table is not ready to be used. Table 'mysql.slave_relay_log_info' cannot be opened.
2019-10-29 17:01:37 2736 [Note] Event Scheduler: Loaded 0 events
2019-10-29 17:01:37 2736 [Note] deps/MySQL-5.6.17/bin/mysqld: ready for connections.
Version: '5.6.17'  socket: '/tmp/mysql.sock.khc3'  port: 0  MySQL Community Server (GPL)
ram_r 4096
R Version: 3.1, x86_64
Using un-threaded functions...
new default extension: .txt *.csv *.tsv *.xls *.xlsx
Connected to MySQL 5.6, khc3.
Data dir: /Users/*****/Downloads/khcoder3/config/khc3/
Connected to MySQL 5.6, khc3.
Trying out a different dialog method for darwin...
Checking icode (jp1)... utf8
Trying out a different dialog method for darwin...
done:  00:00:05
Trying out a different dialog method for darwin...
Trying out a different dialog method for darwin...
Checking icode (jp2)... utf8
command line: DYLD_FALLBACK_LIBRARY_PATH="/Users/*****/Downloads/khcoder3/deps/chasen/lib:/Users/*****/Downloads/khcoder3/deps/mecab/lib:/Users/*****/Downloads/khcoder3/deps/freeling40/lib:/Users/*****/Downloads/khcoder3/deps/mysql-5.6.17/lib" ./deps/chasen/bin/chasen -r "/Users/*****/Downloads/khcoder3/deps/ipadic-2.6.1/chasenrc" -o "/Users/*****/Downloads/khcoder3/config/khc3/khc3_ch.txt" "/Users/*****/Downloads/khcoder3/config/khc3/khc3_mph.txt"
Morpho1	 2 wallclock secs ( 1.19 usr  0.04 sys +  0.37 cusr  0.09 csys =  1.69 CPU)
	Single row: 204 bytes
	The HEAP table will eat approx. 22MB; We have 1024MB max.
Read	 1 wallclock secs ( 0.02 usr +  0.02 sys =  0.04 CPU)
Format	 2 wallclock secs ( 0.10 usr +  0.00 sys =  0.10 CPU)
Strat1	 4 wallclock secs ( 0.64 usr +  0.03 sys =  0.67 CPU)
Strat2	 1 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
RawTXT	 1 wallclock secs ( 0.22 usr +  0.01 sys =  0.23 CPU)
 df: heap  df: heap  df: heap  df: heap df	 2 wallclock secs ( 0.01 usr +  0.00 sys =  0.01 CPU)
fc	 1 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
Check	 0 wallclock secs ( 0.00 usr +  0.00 sys =  0.00 CPU)
MySQL: FLUSH
Morpho File: /Users/*****/Downloads/khcoder3/config/khc3/khc3_ch.txt
Trying out a different dialog method for darwin...
new default extension: .txt *.csv *.tsv *.xls *.xlsx
Connected to MySQL 5.6, khc4.
Data dir: /Users/*****/Downloads/khcoder3/config/khc4/
Connected to MySQL 5.6, khc4.
Trying out a different dialog method for darwin...
Trying out a different dialog method for darwin...
Checking icode (jp2)... utf8
command line: DYLD_FALLBACK_LIBRARY_PATH="/Users/*****/Downloads/khcoder3/deps/chasen/lib:/Users/*****/Downloads/khcoder3/deps/mecab/lib:/Users/*****/Downloads/khcoder3/deps/freeling40/lib:/Users/*****/Downloads/khcoder3/deps/mysql-5.6.17/lib" ./deps/chasen/bin/chasen -r "/Users/*****/Downloads/khcoder3/deps/ipadic-2.6.1/chasenrc" -o "/Users/*****/Downloads/khcoder3/config/khc4/khc4_ch.txt" "/Users/*****/Downloads/khcoder3/config/khc4/khc4_mph.txt"
Morpho1	 8 wallclock secs ( 3.45 usr  0.12 sys +  2.94 cusr  0.27 csys =  6.78 CPU)
	Single row: 580 bytes
	The HEAP table will eat approx. 642MB; We have 1024MB max.
Read	13 wallclock secs ( 0.12 usr  0.12 sys +  0.01 cusr  0.00 csys =  0.25 CPU)
DBD::mysql::db do failed: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '~',59,61,10),('¨',2,63,9999),('¬',4,61,10),('°',56,61,10),('±',1,61,10),('´' at line 3 at /mysql_exec.pm line 377.
SQL Input:
				INSERT
				INTO genkei (name, num, hinshi_id, khhinshi_id)
				VALUES ('\',85,63,9999),('~',59,61,10),('¨',2,63,9999),('¬',4,61,10),('°',56,61,10),('±',1,61,10),('´',417,63,9999),('×',149,63,9999),('α',1592,62,9999),('Δ',1,62,9999),('ε',20,62,9999),('Θ',1,62,9999),('μ',12,62,9999),('ν',4,62,9999),('Ξ',1,62,9999),('ρ',3,62,9999),('Σ',21,62,9999),('Φ',11,62,9999),('ω',356,62,9999),('а',2,61,10),('б',2,61,10),('в',2,61,10),('г',2,61,10),('Д',71,61,10),('ж',1,61,10),('з',12,61,10),('и',2,61,10),('л',2,61,10),('о',8,61,10),('‐',4,63,9999),('―',28,63,9999),('――',74,63,9999),('‘',12,66,9999),('’',16,65,9999),('“',123,66,9999),('”',300,65,9999),('‥',30,63,9999),('…',4199,63,9999),('′',2,63,9999),('″',1,61,10),('※',215,63,9999),('℃',25,61,10),('Å',2,41,9999),('←',166,63,9999),('↑',92,63,9999),('→',693,63,9999),('↓',201,63,9999),('⇒',63,61,10),('⇔',6,61,10),('∀',110,61,10),('∇',32,61,10),('−',107,63,9999),('−−',75,63,9999),('∞',1,61,10),('∠',13,61,10),('∧',2,61,10),('∨',1,61,10),('∩',11,61,10),('∪',1,61,10),('∵',1,61,10),('≒',3,61,10),('≡',5,61,10),('≦',14,61,10),('≧',16,61,10),('≫',7,61,10),('⊂',4,61,10),('⊃',1,61,10),('⌒',20,61,10),('─',2,63,9999),('──',6,63,9999),('━',10,61,10),('│',3,61,10),('┌',2,61,10),('┏',4,61,10),('┐',1,61,10),('┓',3,61,10),('└',2,61,10),('┗',3,61,10),('┘',1,61,10),('┛',4,61,10),('■',112,63,9999),('□',23,63,9999),('▲',5,63,9999),('△',9,63,9999),('▼',27,63,9999),('▽',78,63,9999),('◆',50,63,9999),('◇',23,63,9999),('○',2,46,9999),('○',66,63,9999),('◎',78,63,9999),('●',114,63,9999),('◯',25,61,10),('　',11078,67,9999),('、',1123,46,9999),('、',34999,68,9999),('。',31595,64,9999),('〃',9,63,9999),('々',49,63,9999),('〆',2,63,9999),('〇',16,46,9999),('〇',15,63,9999),('〇〇',1,23,1),('〈',6,66,9999),('〉',8,65,9999),('《',22,66,9999),('》',26,65,9999),('「',4313,66,9999),('」',4278,65,9999),('『',439,66,9999),('』',428,65,9999),('【',1375,66,9999),('】',1365,65,9999),('〓',6,63,9999),('〔',2,66,9999),('〕',2,65,9999),('〜',2206,63,9999),('ぁ',69,61,10),('あ',176,2,12),('あ',146,55,12),('あ〜',31,55,12),('あぁ',24,55,12),('ああ',2,4,19),('ああ',118,55,12),('あい',10,23,16),('あいあい',2,23,16),('あいかわらず',2,3,19),('あいさつ',4,21,2),('あいだ',1,49,9999),('あいつ',6,24,9999),('あいにく',6,4,19),('あいにく',1,35,3),('あいまい',1,35,3),('あいまつ',7,19,17),('あう',23,19,17),('あう',4,20,9999),('あえぐ',1,19,17),('あえて',20,3,19),('あえない',2,53,18),('あおい',2,30,6),('あおり',1,23,16),('あおる',2,19,17),('あか',7,23,16),('あかし',1,23,16),('あかね',1,29,6),('あからさま',1,35,3),('あかり',19,29,6),('あかん',10,55,12),('あがく',10,19,17),('あがる',23,19,17),('あきらめ',1,23,16),('あきらめる',11,19,17),('あきる',1,19,17),('あきれる',3,19,17),('あく',12,19,17),('あくせく',1,21,2),('あくま',1,23,16),('あくまで',1,3,19),('あくまで',24,4,19),('あくまでも',11,3,19),('あける',8,19,17),('あげく',1,23,16),('あげく',3,49,9999),('あげる',112,19,17),('あげる',60,20,9999),('あこがれ',1,23,16),('あこがれる',1,19,17),('あご',1,23,16),('あさひ',1,33,5),('あさる',1,19,17),('あしい',1,53,18),('あしからず',1,3,19),('あした',2,25,9),('あじ',3,23,16),('あじさい',3,23,16),('あす',10,25,9),('あずける',1,19,17),('あせる',2,19,17),('あそこ',8,24,9999),('あそぶ',2,19,17),('あたい',1,24,9999),('あたえる',1,19,17),('あたかも',1,3,19),('あたし',11,24,9999),('あたたかい',1,53,18),('あたら',6,3,19),('あたらい',1,53,18),('あたらしい',3,53,18),('あたり',27,23,16),('あたり',33,37,9999),('あたり',5,39,9999),('あたり',23,49,9999),('あたりまえ',5,35,3),('あたる',13,19,17),('あだ名',1,23,1),('あちこち',16,24,9999),('あちら',4,24,9999),('あっ',34,55,12),('あっさり',7,4,19),('あっさり',3,21,2)

Error:

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '~',59,61,10),('Â¨',2,63,9999),('Â¬',4,61,10),('Â°',56,61,10),('Â±',1,61,10),('Â´' at line 3
SQL Caller:  line

Trying out a different dialog method for darwin...

Exit (gui_errormsg.pm)

2019-10-29 17:06:12 2736 [Note] deps/MySQL-5.6.17/bin/mysqld: Normal shutdown
2019-10-29 17:06:12 2736 [Note] Giving 1 client threads a chance to die gracefully

2019-10-29 17:06:12 2736 [Note] Event Scheduler: Purging the queue. 0 events

2019-10-29 17:06:12 2736 [Note] Shutting down slave threads

2019-10-29 17:06:14 2736 [Note] Forcefully disconnecting 0 remaining clients

2019-10-29 17:06:14 2736 [Note] Binlog end

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'partition'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'PERFORMANCE_SCHEMA'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'INNODB_CMP_PER_INDEX'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'INNODB_CMP'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'INNODB_LOCKS'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'BLACKHOLE'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'ARCHIVE'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'MRG_MYISAM'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'MyISAM'

2019-10-29 17:06:14 2736 [Note] Shutting down plugin 'MEMORY'

2019-10-29 17:06:15 2736 [Note] Shutting down plugin 'CSV'

2019-10-29 17:06:15 2736 [Note] Shutting down plugin 'sha256_password'

2019-10-29 17:06:15 2736 [Note] Shutting down plugin 'mysql_old_password'

2019-10-29 17:06:15 2736 [Note] Shutting down plugin 'mysql_native_password'

2019-10-29 17:06:15 2736 [Note] Shutting down plugin 'binlog'

2019-10-29 17:06:15 2736 [Note] deps/MySQL-5.6.17/bin/mysqld: Shutdown complete

ko-ichi-h · 2019-10-29T08:29:34Z

ko-ichi-h
Oct 29, 2019
Maintainer

こんにちは、樋口です。書き込みありがとうございます。

チュートリアルの「こころ」データを分析できているならば，KH Coderは正常に機能していると考えられます。入力データに原因があるのかもしれません。

前処理を実行する前に，メニューから「前処理」「テキストのチェック」を選択し，自動修正を「実行」していただくと，いかがでしょうか？

0 replies

umamimi · 2019-10-29T08:34:04Z

umamimi
Oct 29, 2019
Author

早速のご返信、ありがとうございます。

前処理を実行する前に，メニューから「前処理」「テキストのチェック」を選択し，自動修正を「実行」していただくと，いかがでしょうか？

「テキストのチェック」は正常に終わり、『分析対象ファイル内に既知の問題点は発見されませんでした。前処理を安全に実行できると考えられます。』と表示されます。

0 replies

umamimi · 2019-10-29T08:36:11Z

umamimi
Oct 29, 2019
Author

前処理を実行しますと、1分も経たないうちにこのようなエラーメッセージが表示され、OKを押すとKH Coderが落ちてしまいます。。

0 replies

ko-ichi-h · 2019-10-29T08:37:41Z

ko-ichi-h
Oct 29, 2019
Maintainer

こんにちは、樋口です。書き込みありがとうございます。

それは不思議ですね。お書きいただいたエラーを見ますと，データ中に半角バックスラッシュ「\」が存在しそうなのです。半角バックスラッシュや半角シングルクォート「'」を検索して，削除してから前処理を実行してみるといかがですか？

【追記】
半角バックスラッシュ「\」は，お使いのエディタによっては円マーク「￥」のように表示される場合があります。

0 replies

umamimi · 2019-10-29T08:45:15Z

umamimi
Oct 29, 2019
Author

半角バックスラッシュ、半角シングルクォート、どちらもテキストファイル上に存在していませんでした。
念のため「¥・￥」も検索しましたが、どちらも検出されません。

他にどのようなことが原因として想定されますでしょうか？

0 replies

ko-ichi-h · 2019-10-29T08:48:06Z

ko-ichi-h
Oct 29, 2019
Maintainer

こんにちは、樋口です。書き込みありがとうございます。

うーん，全角の「＼」はいかがでしょう？

0 replies

umamimi · 2019-10-29T08:52:34Z

umamimi
Oct 29, 2019
Author

樋口先生、ありがとうございます。
全角の「＼」が邪魔をしていたようです。。

お騒がせいたしました。ありがとうございました。

0 replies

ko-ichi-h · 2019-10-29T10:37:28Z

ko-ichi-h
Oct 29, 2019
Maintainer

こんにちは、樋口です。書き込みありがとうございます。

いえいえ，本来は全角の「＼」があっても問題なく動作すべきですので，今し方そのように修正いたしました。この問題はLinuxおよびMac上で発生していましたが，次期リリース以降では発生しないはずです。

0 replies

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

テキスト中に全角バックスラッシュ「＼」があると前処理に失敗する #645

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Replies: 8 comments

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Select a reply

テキスト中に全角バックスラッシュ「＼」があると前処理に失敗する #645

umamimi Oct 29, 2019

Replies: 8 comments

ko-ichi-h Oct 29, 2019 Maintainer

umamimi Oct 29, 2019 Author

umamimi Oct 29, 2019 Author

ko-ichi-h Oct 29, 2019 Maintainer

umamimi Oct 29, 2019 Author

ko-ichi-h Oct 29, 2019 Maintainer

umamimi Oct 29, 2019 Author

ko-ichi-h Oct 29, 2019 Maintainer

umamimi
Oct 29, 2019

ko-ichi-h
Oct 29, 2019
Maintainer

umamimi
Oct 29, 2019
Author

umamimi
Oct 29, 2019
Author

ko-ichi-h
Oct 29, 2019
Maintainer

umamimi
Oct 29, 2019
Author

ko-ichi-h
Oct 29, 2019
Maintainer

umamimi
Oct 29, 2019
Author

ko-ichi-h
Oct 29, 2019
Maintainer