Merge pull request abak-press#15 from cynek/master

feat: add clearing deprecated unicode characters [skip ci]

lib/string_tools.rb

@@ -106,6 +106,15 @@ def clear_control_characters(string)
       string.tr("\u0000-\u001f", '')
     end
 
+    # Public: вычищает устаревшие Unicode символы из строки
+    #
+    # string - String строка, из которой удаляем символы
+    #
+    # Returns String
+    def clear_deprecated_unicode_characters(string)
+      string.tr("\u2028-\u2029", '')
+    end
+
     # Public: вычищает все html тэги и пробельные символы
     #
     # string - String строка для очистки

spec/fixtures/lsps.txt

@@ -0,0 +1 @@
+indi
ssoluble

stri
ng

spec/string_tools_spec.rb

@@ -45,6 +45,16 @@
     end
   end
 
+  describe '#clear_deprecated_unicode_characters' do
+    subject(:clear_deprecated_unicode_characters) { described_class.clear_deprecated_unicode_characters(string) }
+
+    context 'string with \u2029\u2029 symbols' do
+      let(:string) { File.open('spec/fixtures/lsps.txt', &:readline) }
+
+      it { expect(clear_deprecated_unicode_characters).to eq('indissolublestring') }
+    end
+  end
+
   describe '#strip_all_tags_and_entities' do
     subject(:strip_all_tags_and_entities) { described_class.strip_all_tags_and_entities(string) }