TFIDF.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 281416\r\n",
      "-rw-r--r-- 1 emo   2112410 May 19 20:19 FN_Training_Set.7z\r\n",
      "-rw-r--r-- 1 emo   6543801 May 19 20:19 FN_Training_Set.xlsx\r\n",
      "-rw-r--r-- 1 emo 279487543 May 19 20:19 main_data_fake_news.csv\r\n",
      "-rw-r--r-- 1 emo        72 May 19 21:09 Untitled.ipynb\r\n",
      "-rw-r--r-- 1 emo     10921 May 19 20:19 Критерии_за_оценка.xlsx\r\n"
     ]
    }
   ],
   "source": [
    "ll"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn.svm import LinearSVC\n",
    "from sklearn.model_selection import train_test_split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.read_excel('FN_Training_Set.xlsx')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "train, test = train_test_split(data, test_size=0.1, random_state=999)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>fake_news_score</th>\n",
       "      <th>click_bait_score</th>\n",
       "      <th>Content Title</th>\n",
       "      <th>Content Url</th>\n",
       "      <th>Content Published Time</th>\n",
       "      <th>Content</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Камил Хабиб: ДАЕШ и „Ан Нусра” са нов терорист...</td>\n",
       "      <td>http://a-specto.bg/kamil-habib-daesh-i-nusra-s...</td>\n",
       "      <td>2017-05-17 18:35:00</td>\n",
       "      <td>Интервю на Десислава Пътева с Камил Хабиб, дек...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>ЧЕТИРИТЕ ТИПА ЖЕНИ СПОРЕД ИЗТОЧНИЯ КАЛЕНДАР</td>\n",
       "      <td>http://novini24online.com/jba/113526</td>\n",
       "      <td>2017-05-17 11:48:00</td>\n",
       "      <td>Романтичната жена Това са жените, родени в год...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Арт - Людмила Ким почита премиера за Ванга</td>\n",
       "      <td>http://paper.standartnews.com/bg/article.php?a...</td>\n",
       "      <td>2017-05-16 21:36:00</td>\n",
       "      <td>Людмила Ким, най-популярната руска лечителка и...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Истина или не ! Истина ли е дали Бойко е гей и...</td>\n",
       "      <td>http://fakenews.bg/Истина-или-не-Истина-ли-е-д...</td>\n",
       "      <td>2017-05-16 19:40:00</td>\n",
       "      <td>Истина или не ! Истина ли е дали Бойко е гей и...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Видеото на Чарли Чаплин, в което няма да се см...</td>\n",
       "      <td>http://blife.eu/видеото-чарли-чаплин-което-ням...</td>\n",
       "      <td>2017-05-16 13:41:00</td>\n",
       "      <td>Свикнали сме Чарли Чаплин да ни разсмива, да х...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>\"Реквием за Ванга от Людмила Ким\" с безплатна ...</td>\n",
       "      <td>http://bnr.bg/post/100831443/vanga-film</td>\n",
       "      <td>2017-05-16 12:55:00</td>\n",
       "      <td>Руско-българският документален филм \"Реквием з...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>\"Реквием за Ванга от Людмила Ким\" с безплатна ...</td>\n",
       "      <td>http://bnr.bg/horizont/post/100831443/vanga-film</td>\n",
       "      <td>2017-05-16 12:55:00</td>\n",
       "      <td>Руско-българският документален филм \"Реквием з...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Оракулът от село Граница Василка Анакиева: Пол...</td>\n",
       "      <td>https://skafeto.com/любопитно/оракулът-от-село...</td>\n",
       "      <td>2017-05-16 12:36:00</td>\n",
       "      <td>Оракулът от село Граница Василка Анакиева прид...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Българските илюминати, незнаещи, че са пионки ...</td>\n",
       "      <td>http://bezistena.blog.bg/history/2017/05/15/by...</td>\n",
       "      <td>2017-05-15 21:18:00</td>\n",
       "      <td>Все повече и повече директни или съвсем леко з...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Тайните апокалиптични скривалища на световния ...</td>\n",
       "      <td>http://gudelnews.com/index.php?option=com_cont...</td>\n",
       "      <td>2017-05-15 15:12:00</td>\n",
       "      <td>През 2012-2013 г. световният елит, според няко...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Тази седмица във вестник „Запад – Юг“</td>\n",
       "      <td>http://toppresa.com/116722/тази-седмица-във-ве...</td>\n",
       "      <td>2017-05-15 14:20:00</td>\n",
       "      <td>„Антикорупция – Сандански“ ревна: Кога ще разс...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Сбъднати и несбъднати пророчества на Ванга! Ка...</td>\n",
       "      <td>http://bulbox.net/mistery/5721523/</td>\n",
       "      <td>2017-05-15 13:00:00</td>\n",
       "      <td>Сбъдват ли се пророчествата на Ванга? Можем ли...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Думите на Ванга, които няма да забравим (част 1)</td>\n",
       "      <td>http://novini24online.com/jba/113269</td>\n",
       "      <td>2017-05-15 12:35:00</td>\n",
       "      <td>Колкото и да си скептичен, колкото и да не вяр...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Онлайн вестник Струма - Любопитно</td>\n",
       "      <td>http://www.struma.com/lyubopitno/lyudmila-kim-...</td>\n",
       "      <td>2017-05-15 11:02:00</td>\n",
       "      <td>Руско-българският документален филм РЕКВИЕМ ЗА...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Домът на Илюминати и НСР е бил внезапно изоста...</td>\n",
       "      <td>http://zahariada.blog.bg/politika/2017/05/15/d...</td>\n",
       "      <td>2017-05-15 10:40:00</td>\n",
       "      <td>01.02.2016 Orion Категория, Мистерии Домът на ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Домът на Илюминати и НСР е бил внезапно изоста...</td>\n",
       "      <td>http://zahariada.blog.bg/politika/2017/05/15/d...</td>\n",
       "      <td>2017-05-15 10:35:00</td>\n",
       "      <td>Домът на Илюминати и Новият Световен Ред, бе е...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Сбъднати и несбъднати пророчества на Ванга! Ка...</td>\n",
       "      <td>http://svetovnizagadki.com/сбъднати-и-несбъдна...</td>\n",
       "      <td>2017-05-15 08:39:00</td>\n",
       "      <td>Сбъдват ли се пророчествата на Ванга? Можем ли...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Филип Киркоров следва стриктно завет от майка си</td>\n",
       "      <td>http://www.dnes.co.uk/193923/filip-kirkorov-sl...</td>\n",
       "      <td>2017-05-15 07:46:00</td>\n",
       "      <td>През септември Филип Киркоров подготвя специал...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Плочата с надпис, която открихме на Хераклея С...</td>\n",
       "      <td>http://www.focus-news.net/opinion/2017/05/15/4...</td>\n",
       "      <td>2017-05-15 07:04:00</td>\n",
       "      <td>Снимка: НАИМ Сотир Иванов, директор на Историч...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Планът «Домино» за разбиването на Югославия</td>\n",
       "      <td>https://bgr.news-front.info/2017/05/15/plant-d...</td>\n",
       "      <td>2017-05-15 06:49:00</td>\n",
       "      <td>На 16 декември 1991 г. за Балканите и региона ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Филип Киркоров следва стриктно завет от майка ...</td>\n",
       "      <td>https://www.blitz.bg/stsena/filip-kirkorov-sle...</td>\n",
       "      <td>2017-05-15 06:20:00</td>\n",
       "      <td>През септември Филип Киркоров подготвя специал...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Ужасът наречен Ротшилд | Велика България</td>\n",
       "      <td>http://velikabulgaria.eu/ужасът-наречен-ротшилд/</td>\n",
       "      <td>2017-05-15 04:27:00</td>\n",
       "      <td>Историята на една от най-богатите фамилии в св...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Варненският шоумен Кирил Аспарухов пред в. \"Шо...</td>\n",
       "      <td>https://www.blitz.bg/layfstayl/varnenskiyat-sh...</td>\n",
       "      <td>2017-05-15 04:07:00</td>\n",
       "      <td>- Господин Аспарухов, подготвяте поетичен сбор...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Необикновената и загадъчна история на пророчиц...</td>\n",
       "      <td>http://velikabulgaria.eu/необикновената-и-зага...</td>\n",
       "      <td>2017-05-14 22:58:00</td>\n",
       "      <td>Тя предрича идването на комунизма, Втората све...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Людмила Ким у нас за „Реквием за Ванга“ – Труд</td>\n",
       "      <td>https://trud.bg/людмила-ким-у-нас-за-реквием-з...</td>\n",
       "      <td>2017-05-14 21:32:00</td>\n",
       "      <td>Руско-българският документален филм РЕКВИЕМ ЗА...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>5 тайни общества обвити в мистерия (снимки)</td>\n",
       "      <td>http://velikabulgaria.eu/5-тайни-общества-обви...</td>\n",
       "      <td>2017-05-14 16:22:00</td>\n",
       "      <td>Всички сме чували за тайните общества като Илю...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Най-умната жена в света: Отказах да пера пари</td>\n",
       "      <td>http://www.marica.bg/най-умната-жена-в-света-о...</td>\n",
       "      <td>2017-05-14 16:15:00</td>\n",
       "      <td>Даниела Симидчиева е директор на Центъра за пр...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Даниела Симидчиева, най-умната жена в света: О...</td>\n",
       "      <td>http://www.marica.bg/даниела-симидчиева-най-ум...</td>\n",
       "      <td>2017-05-14 16:15:00</td>\n",
       "      <td>Даниела Симидчиева е директор на Центъра за пр...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Конспиративни теории обвиват секретния америка...</td>\n",
       "      <td>https://trud.bg/конспиративни-теории-обвиват-с...</td>\n",
       "      <td>2017-05-14 16:04:00</td>\n",
       "      <td>На 7 май американският орбитален самолет Х-37В...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Пророчествата на Фатима-Мистериозната история ...</td>\n",
       "      <td>http://www.zajenata.bg/пророчествата-на-фатима...</td>\n",
       "      <td>2017-05-14 13:58:00</td>\n",
       "      <td>Тя не е португалската Ванга. Откровенията, кои...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2785</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Странните предсказания на Economist за 2017 г:...</td>\n",
       "      <td>http://bultimes.com/strannite-predskazaniya-na...</td>\n",
       "      <td>2016-11-21 14:10:00</td>\n",
       "      <td>Виждаме карти таро с образи, даващи представа ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2786</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>„Тайни и загадки”: Ключ към Древен Египет се к...</td>\n",
       "      <td>http://news.dir.bg/news.php?id=24544907</td>\n",
       "      <td>2016-11-21 12:16:00</td>\n",
       "      <td>Годината е 1980. В Москва тече Олимпиада, коят...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2787</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>„Тайни и загадки”: Ключ към Древен Египет се к...</td>\n",
       "      <td>http://novini.dir.bg/news.php?id=24544907</td>\n",
       "      <td>2016-11-21 12:16:00</td>\n",
       "      <td>Годината е 1980. В Москва тече Олимпиада, коят...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2788</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>ШЕФ НА ВСЕМОГЪЩИТЕ ИЛЮМИНАТИ НЕ ИЗДЪРЖА И СЕ Р...</td>\n",
       "      <td>http://zahariada.blog.bg/politika/2016/11/21/s...</td>\n",
       "      <td>2016-11-21 11:28:00</td>\n",
       "      <td>ШЕФ НА ВСЕМОГЪЩИТЕ ИЛЮМИНАТИ НЕ ИЗДЪРЖА И СЕ Р...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2789</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Мирослав Робев: Ракът е лечим с куркума</td>\n",
       "      <td>http://www.zdravnitza.com/a.php/nav/news/s/s/n...</td>\n",
       "      <td>2016-11-21 00:00:00</td>\n",
       "      <td>Имам рецепти против 25 вида тумори. Билките мо...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2790</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Шалом или как Българските Богове Исус и Мария ...</td>\n",
       "      <td>http://bezistena.blog.bg/history/2016/11/20/sh...</td>\n",
       "      <td>2016-11-20 21:54:00</td>\n",
       "      <td>Понеже народът на елитното тракийско племе евр...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2791</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>За САЩ при Тръмп, Европейският съюз не е ключо...</td>\n",
       "      <td>http://bultimes.com/za-sasht-pri-tramp-evropej...</td>\n",
       "      <td>2016-11-20 12:00:00</td>\n",
       "      <td>Русия, Великобритания, Австралия, Канада, Нова...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2792</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Доналд Тръпм и Владимир Путин заедно в Черна г...</td>\n",
       "      <td>http://www.bgvestnik.eu/доналд-тръпм-и-владими...</td>\n",
       "      <td>2016-11-20 10:34:00</td>\n",
       "      <td>&amp;amp;bdquo;Нека направим света отново велик – ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2793</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Доналд Тръмп и Владимир Путин заедно в Черна г...</td>\n",
       "      <td>http://novinite.bg/articles/129254/Donald-Tram...</td>\n",
       "      <td>2016-11-20 10:21:00</td>\n",
       "      <td>„Нека направим света отново велик – заедно!“. ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2794</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>VSI4KI SME ILUMINATI! Кралицата е извънземна. ...</td>\n",
       "      <td>http://www.klassa.bg/News/Read/article/274128_...</td>\n",
       "      <td>2016-11-20 07:02:00</td>\n",
       "      <td>Най-сетне! Истинската истина! Шок, бомба, ужас...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2795</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>За САЩ при Тръмп,Европейският съюз не е ключов...</td>\n",
       "      <td>http://yphalachev.blogspot.de/2016/11/blog-pos...</td>\n",
       "      <td>2016-11-20 02:03:00</td>\n",
       "      <td>Русия, Великобритания, Австралия, Канада, Нова...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2796</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Всички сме илюминати - DUNAVMOST.bg</td>\n",
       "      <td>http://www.dunavmost.bg/Fun/News/67898-vsichki...</td>\n",
       "      <td>2016-11-19 17:09:00</td>\n",
       "      <td>Острота и хапливост - едно по-различно мнение ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2797</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Египетска богиня-котка погребана в Странджа?</td>\n",
       "      <td>http://retro.bg/misterii/egipetska-boginya-kot...</td>\n",
       "      <td>2016-11-19 15:25:00</td>\n",
       "      <td>Векове наред Странджа планина е била дом на ра...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2798</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>VSI4KI SME ILUMINATI! Кралицата е извънземна. ...</td>\n",
       "      <td>http://bulbox.net/novini/5041926/</td>\n",
       "      <td>2016-11-19 12:00:00</td>\n",
       "      <td>Най-сетне! Истинската истина! Шок, бомба, ужас...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2799</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>VSI4KI SME ILUMINATI! Кралицата е извънземна. ...</td>\n",
       "      <td>http://bg.time.mk/c/69295f50d6/vsi4ki-sme-ilum...</td>\n",
       "      <td>2016-11-19 11:59:00</td>\n",
       "      <td>Здравеопазването е най-важният въпрос, с който...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2800</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>VSI4KI SME ILUMINATI! Кралицата е извънземна. ...</td>\n",
       "      <td>https://gramophon.com/новини/2016/11/19/vsi4ki...</td>\n",
       "      <td>2016-11-19 11:48:00</td>\n",
       "      <td>\"Новини от Грамофон\" - Следете последните нови...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2801</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>VSI4KI SME ILUMINATI! Кралицата е извънземна. ...</td>\n",
       "      <td>https://www.24chasa.bg/mnenia/article/5883250</td>\n",
       "      <td>2016-11-19 11:48:00</td>\n",
       "      <td>Най-сетне! Истинската истина! Шок, бомба, ужас...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2802</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Побитите камъни край Варна. Как са се образува...</td>\n",
       "      <td>http://imedia.bnt.bg/predavanyia/otblizo-s-mir...</td>\n",
       "      <td>2016-11-19 11:38:00</td>\n",
       "      <td>19 Ноември 2016, МИН. Побитите камъни край Вар...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2803</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Сирия - Алепо (и не само)</td>\n",
       "      <td>http://www.bg-mamma.com/index.php?PHPSESSID=8k...</td>\n",
       "      <td>2016-11-19 00:43:00</td>\n",
       "      <td>Един обобщен анализ за войната в СирияСкрит те...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2804</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Майкъл Флин, Турция и България</td>\n",
       "      <td>http://budha2.blog.bg/drugi/2016/11/18/syvetni...</td>\n",
       "      <td>2016-11-18 19:37:00</td>\n",
       "      <td>Съветникът по национална сигурност на Тръмп: М...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2805</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>От последните минути: САЩ НА КОЛЕНЕ! Обама Кле...</td>\n",
       "      <td>http://skandalno.net/сащ-на-колене-обама-клекн...</td>\n",
       "      <td>2016-11-18 17:54:00</td>\n",
       "      <td>Ако статията ви хареса, споделете я с приятели...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2806</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Документалана поредица за Ванга ще бъде предст...</td>\n",
       "      <td>http://petrichnews.info/2016/11/18/документала...</td>\n",
       "      <td>2016-11-18 16:53:00</td>\n",
       "      <td>На 21 ноември, понеделник, от 17:30 часа, в ко...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2807</th>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>Руска телевизия твърди, че е открила истинскат...</td>\n",
       "      <td>http://lifebg.net/170486/</td>\n",
       "      <td>2016-11-18 12:07:00</td>\n",
       "      <td>От много години се спекулира дали и кой ще нас...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2808</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Астрологията представя опростен математически ...</td>\n",
       "      <td>https://lira.bg/archives/131313</td>\n",
       "      <td>2016-11-18 12:02:00</td>\n",
       "      <td>„За смисъла на астрологията“ е новата книга на...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2809</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Рок операта „Нострадамус“ прави световна преми...</td>\n",
       "      <td>http://www.bgnes.com/video/video/4470853</td>\n",
       "      <td>2016-11-18 10:12:00</td>\n",
       "      <td>Световната премиера на рок операта „Нострадаму...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2810</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Американската „Правда“ идва в Европа</td>\n",
       "      <td>http://terminal3.bg/amerikanskata-pravda-idva-...</td>\n",
       "      <td>2016-11-18 08:32:00</td>\n",
       "      <td>“Противозачатъчните правят жените неатрактивни...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2811</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Прекъсване на електрозахранването днес в Пирин...</td>\n",
       "      <td>http://www.regiona.bg/index.php/people/item/16...</td>\n",
       "      <td>2016-11-18 07:24:00</td>\n",
       "      <td>ЧЕЗ осъществява амбициозна инвестиционна прогр...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2812</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Експерт, прогнозирал руското навлизане в Източ...</td>\n",
       "      <td>http://pik.bg/експерт-прогнозирал-руското-навл...</td>\n",
       "      <td>2016-11-17 22:25:00</td>\n",
       "      <td>Преди четири години експертът по международна ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2813</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Рок операта „Нострадамус“ прави световна преми...</td>\n",
       "      <td>http://www.bgnes.com/laifstail/kultura/4470562</td>\n",
       "      <td>2016-11-17 21:36:00</td>\n",
       "      <td>Световната премиера на рок операта „Нострадаму...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2814</th>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>чии агенти са циганите и какво търсят в Българ...</td>\n",
       "      <td>http://bezistena.blog.bg/history/2016/11/17/ta...</td>\n",
       "      <td>2016-11-17 21:07:00</td>\n",
       "      <td>Циганите си нямат държава,нямат си правителств...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2815 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      fake_news_score  click_bait_score  \\\n",
       "0                   1                 1   \n",
       "1                   1                 1   \n",
       "2                   1                 1   \n",
       "3                   3                 3   \n",
       "4                   1                 1   \n",
       "5                   1                 1   \n",
       "6                   1                 1   \n",
       "7                   3                 3   \n",
       "8                   3                 3   \n",
       "9                   3                 3   \n",
       "10                  1                 1   \n",
       "11                  3                 3   \n",
       "12                  3                 3   \n",
       "13                  1                 1   \n",
       "14                  3                 3   \n",
       "15                  3                 3   \n",
       "16                  3                 3   \n",
       "17                  1                 1   \n",
       "18                  1                 1   \n",
       "19                  1                 1   \n",
       "20                  1                 1   \n",
       "21                  3                 3   \n",
       "22                  1                 1   \n",
       "23                  3                 3   \n",
       "24                  1                 1   \n",
       "25                  3                 3   \n",
       "26                  1                 1   \n",
       "27                  1                 1   \n",
       "28                  1                 1   \n",
       "29                  3                 3   \n",
       "...               ...               ...   \n",
       "2785                1                 1   \n",
       "2786                1                 1   \n",
       "2787                1                 1   \n",
       "2788                3                 3   \n",
       "2789                1                 1   \n",
       "2790                3                 3   \n",
       "2791                1                 1   \n",
       "2792                1                 1   \n",
       "2793                1                 1   \n",
       "2794                3                 3   \n",
       "2795                1                 1   \n",
       "2796                3                 3   \n",
       "2797                1                 1   \n",
       "2798                3                 3   \n",
       "2799                3                 3   \n",
       "2800                1                 1   \n",
       "2801                1                 1   \n",
       "2802                1                 1   \n",
       "2803                1                 1   \n",
       "2804                1                 1   \n",
       "2805                3                 3   \n",
       "2806                1                 1   \n",
       "2807                3                 3   \n",
       "2808                1                 1   \n",
       "2809                1                 1   \n",
       "2810                1                 1   \n",
       "2811                1                 1   \n",
       "2812                1                 1   \n",
       "2813                1                 1   \n",
       "2814                1                 3   \n",
       "\n",
       "                                          Content Title  \\\n",
       "0     Камил Хабиб: ДАЕШ и „Ан Нусра” са нов терорист...   \n",
       "1           ЧЕТИРИТЕ ТИПА ЖЕНИ СПОРЕД ИЗТОЧНИЯ КАЛЕНДАР   \n",
       "2            Арт - Людмила Ким почита премиера за Ванга   \n",
       "3     Истина или не ! Истина ли е дали Бойко е гей и...   \n",
       "4     Видеото на Чарли Чаплин, в което няма да се см...   \n",
       "5     \"Реквием за Ванга от Людмила Ким\" с безплатна ...   \n",
       "6     \"Реквием за Ванга от Людмила Ким\" с безплатна ...   \n",
       "7     Оракулът от село Граница Василка Анакиева: Пол...   \n",
       "8     Българските илюминати, незнаещи, че са пионки ...   \n",
       "9     Тайните апокалиптични скривалища на световния ...   \n",
       "10                Тази седмица във вестник „Запад – Юг“   \n",
       "11    Сбъднати и несбъднати пророчества на Ванга! Ка...   \n",
       "12     Думите на Ванга, които няма да забравим (част 1)   \n",
       "13                    Онлайн вестник Струма - Любопитно   \n",
       "14    Домът на Илюминати и НСР е бил внезапно изоста...   \n",
       "15    Домът на Илюминати и НСР е бил внезапно изоста...   \n",
       "16    Сбъднати и несбъднати пророчества на Ванга! Ка...   \n",
       "17     Филип Киркоров следва стриктно завет от майка си   \n",
       "18    Плочата с надпис, която открихме на Хераклея С...   \n",
       "19          Планът «Домино» за разбиването на Югославия   \n",
       "20    Филип Киркоров следва стриктно завет от майка ...   \n",
       "21             Ужасът наречен Ротшилд | Велика България   \n",
       "22    Варненският шоумен Кирил Аспарухов пред в. \"Шо...   \n",
       "23    Необикновената и загадъчна история на пророчиц...   \n",
       "24       Людмила Ким у нас за „Реквием за Ванга“ – Труд   \n",
       "25          5 тайни общества обвити в мистерия (снимки)   \n",
       "26        Най-умната жена в света: Отказах да пера пари   \n",
       "27    Даниела Симидчиева, най-умната жена в света: О...   \n",
       "28    Конспиративни теории обвиват секретния америка...   \n",
       "29    Пророчествата на Фатима-Мистериозната история ...   \n",
       "...                                                 ...   \n",
       "2785  Странните предсказания на Economist за 2017 г:...   \n",
       "2786  „Тайни и загадки”: Ключ към Древен Египет се к...   \n",
       "2787  „Тайни и загадки”: Ключ към Древен Египет се к...   \n",
       "2788  ШЕФ НА ВСЕМОГЪЩИТЕ ИЛЮМИНАТИ НЕ ИЗДЪРЖА И СЕ Р...   \n",
       "2789            Мирослав Робев: Ракът е лечим с куркума   \n",
       "2790  Шалом или как Българските Богове Исус и Мария ...   \n",
       "2791  За САЩ при Тръмп, Европейският съюз не е ключо...   \n",
       "2792  Доналд Тръпм и Владимир Путин заедно в Черна г...   \n",
       "2793  Доналд Тръмп и Владимир Путин заедно в Черна г...   \n",
       "2794  VSI4KI SME ILUMINATI! Кралицата е извънземна. ...   \n",
       "2795  За САЩ при Тръмп,Европейският съюз не е ключов...   \n",
       "2796                Всички сме илюминати - DUNAVMOST.bg   \n",
       "2797       Египетска богиня-котка погребана в Странджа?   \n",
       "2798  VSI4KI SME ILUMINATI! Кралицата е извънземна. ...   \n",
       "2799  VSI4KI SME ILUMINATI! Кралицата е извънземна. ...   \n",
       "2800  VSI4KI SME ILUMINATI! Кралицата е извънземна. ...   \n",
       "2801  VSI4KI SME ILUMINATI! Кралицата е извънземна. ...   \n",
       "2802  Побитите камъни край Варна. Как са се образува...   \n",
       "2803                          Сирия - Алепо (и не само)   \n",
       "2804                     Майкъл Флин, Турция и България   \n",
       "2805  От последните минути: САЩ НА КОЛЕНЕ! Обама Кле...   \n",
       "2806  Документалана поредица за Ванга ще бъде предст...   \n",
       "2807  Руска телевизия твърди, че е открила истинскат...   \n",
       "2808  Астрологията представя опростен математически ...   \n",
       "2809  Рок операта „Нострадамус“ прави световна преми...   \n",
       "2810               Американската „Правда“ идва в Европа   \n",
       "2811  Прекъсване на електрозахранването днес в Пирин...   \n",
       "2812  Експерт, прогнозирал руското навлизане в Източ...   \n",
       "2813  Рок операта „Нострадамус“ прави световна преми...   \n",
       "2814  чии агенти са циганите и какво търсят в Българ...   \n",
       "\n",
       "                                            Content Url  \\\n",
       "0     http://a-specto.bg/kamil-habib-daesh-i-nusra-s...   \n",
       "1                  http://novini24online.com/jba/113526   \n",
       "2     http://paper.standartnews.com/bg/article.php?a...   \n",
       "3     http://fakenews.bg/Истина-или-не-Истина-ли-е-д...   \n",
       "4     http://blife.eu/видеото-чарли-чаплин-което-ням...   \n",
       "5               http://bnr.bg/post/100831443/vanga-film   \n",
       "6      http://bnr.bg/horizont/post/100831443/vanga-film   \n",
       "7     https://skafeto.com/любопитно/оракулът-от-село...   \n",
       "8     http://bezistena.blog.bg/history/2017/05/15/by...   \n",
       "9     http://gudelnews.com/index.php?option=com_cont...   \n",
       "10    http://toppresa.com/116722/тази-седмица-във-ве...   \n",
       "11                   http://bulbox.net/mistery/5721523/   \n",
       "12                 http://novini24online.com/jba/113269   \n",
       "13    http://www.struma.com/lyubopitno/lyudmila-kim-...   \n",
       "14    http://zahariada.blog.bg/politika/2017/05/15/d...   \n",
       "15    http://zahariada.blog.bg/politika/2017/05/15/d...   \n",
       "16    http://svetovnizagadki.com/сбъднати-и-несбъдна...   \n",
       "17    http://www.dnes.co.uk/193923/filip-kirkorov-sl...   \n",
       "18    http://www.focus-news.net/opinion/2017/05/15/4...   \n",
       "19    https://bgr.news-front.info/2017/05/15/plant-d...   \n",
       "20    https://www.blitz.bg/stsena/filip-kirkorov-sle...   \n",
       "21     http://velikabulgaria.eu/ужасът-наречен-ротшилд/   \n",
       "22    https://www.blitz.bg/layfstayl/varnenskiyat-sh...   \n",
       "23    http://velikabulgaria.eu/необикновената-и-зага...   \n",
       "24    https://trud.bg/людмила-ким-у-нас-за-реквием-з...   \n",
       "25    http://velikabulgaria.eu/5-тайни-общества-обви...   \n",
       "26    http://www.marica.bg/най-умната-жена-в-света-о...   \n",
       "27    http://www.marica.bg/даниела-симидчиева-най-ум...   \n",
       "28    https://trud.bg/конспиративни-теории-обвиват-с...   \n",
       "29    http://www.zajenata.bg/пророчествата-на-фатима...   \n",
       "...                                                 ...   \n",
       "2785  http://bultimes.com/strannite-predskazaniya-na...   \n",
       "2786            http://news.dir.bg/news.php?id=24544907   \n",
       "2787          http://novini.dir.bg/news.php?id=24544907   \n",
       "2788  http://zahariada.blog.bg/politika/2016/11/21/s...   \n",
       "2789  http://www.zdravnitza.com/a.php/nav/news/s/s/n...   \n",
       "2790  http://bezistena.blog.bg/history/2016/11/20/sh...   \n",
       "2791  http://bultimes.com/za-sasht-pri-tramp-evropej...   \n",
       "2792  http://www.bgvestnik.eu/доналд-тръпм-и-владими...   \n",
       "2793  http://novinite.bg/articles/129254/Donald-Tram...   \n",
       "2794  http://www.klassa.bg/News/Read/article/274128_...   \n",
       "2795  http://yphalachev.blogspot.de/2016/11/blog-pos...   \n",
       "2796  http://www.dunavmost.bg/Fun/News/67898-vsichki...   \n",
       "2797  http://retro.bg/misterii/egipetska-boginya-kot...   \n",
       "2798                  http://bulbox.net/novini/5041926/   \n",
       "2799  http://bg.time.mk/c/69295f50d6/vsi4ki-sme-ilum...   \n",
       "2800  https://gramophon.com/новини/2016/11/19/vsi4ki...   \n",
       "2801      https://www.24chasa.bg/mnenia/article/5883250   \n",
       "2802  http://imedia.bnt.bg/predavanyia/otblizo-s-mir...   \n",
       "2803  http://www.bg-mamma.com/index.php?PHPSESSID=8k...   \n",
       "2804  http://budha2.blog.bg/drugi/2016/11/18/syvetni...   \n",
       "2805  http://skandalno.net/сащ-на-колене-обама-клекн...   \n",
       "2806  http://petrichnews.info/2016/11/18/документала...   \n",
       "2807                          http://lifebg.net/170486/   \n",
       "2808                    https://lira.bg/archives/131313   \n",
       "2809           http://www.bgnes.com/video/video/4470853   \n",
       "2810  http://terminal3.bg/amerikanskata-pravda-idva-...   \n",
       "2811  http://www.regiona.bg/index.php/people/item/16...   \n",
       "2812  http://pik.bg/експерт-прогнозирал-руското-навл...   \n",
       "2813     http://www.bgnes.com/laifstail/kultura/4470562   \n",
       "2814  http://bezistena.blog.bg/history/2016/11/17/ta...   \n",
       "\n",
       "     Content Published Time                                            Content  \n",
       "0       2017-05-17 18:35:00  Интервю на Десислава Пътева с Камил Хабиб, дек...  \n",
       "1       2017-05-17 11:48:00  Романтичната жена Това са жените, родени в год...  \n",
       "2       2017-05-16 21:36:00  Людмила Ким, най-популярната руска лечителка и...  \n",
       "3       2017-05-16 19:40:00  Истина или не ! Истина ли е дали Бойко е гей и...  \n",
       "4       2017-05-16 13:41:00  Свикнали сме Чарли Чаплин да ни разсмива, да х...  \n",
       "5       2017-05-16 12:55:00  Руско-българският документален филм \"Реквием з...  \n",
       "6       2017-05-16 12:55:00  Руско-българският документален филм \"Реквием з...  \n",
       "7       2017-05-16 12:36:00  Оракулът от село Граница Василка Анакиева прид...  \n",
       "8       2017-05-15 21:18:00  Все повече и повече директни или съвсем леко з...  \n",
       "9       2017-05-15 15:12:00  През 2012-2013 г. световният елит, според няко...  \n",
       "10      2017-05-15 14:20:00  „Антикорупция – Сандански“ ревна: Кога ще разс...  \n",
       "11      2017-05-15 13:00:00  Сбъдват ли се пророчествата на Ванга? Можем ли...  \n",
       "12      2017-05-15 12:35:00  Колкото и да си скептичен, колкото и да не вяр...  \n",
       "13      2017-05-15 11:02:00  Руско-българският документален филм РЕКВИЕМ ЗА...  \n",
       "14      2017-05-15 10:40:00  01.02.2016 Orion Категория, Мистерии Домът на ...  \n",
       "15      2017-05-15 10:35:00  Домът на Илюминати и Новият Световен Ред, бе е...  \n",
       "16      2017-05-15 08:39:00  Сбъдват ли се пророчествата на Ванга? Можем ли...  \n",
       "17      2017-05-15 07:46:00  През септември Филип Киркоров подготвя специал...  \n",
       "18      2017-05-15 07:04:00  Снимка: НАИМ Сотир Иванов, директор на Историч...  \n",
       "19      2017-05-15 06:49:00  На 16 декември 1991 г. за Балканите и региона ...  \n",
       "20      2017-05-15 06:20:00  През септември Филип Киркоров подготвя специал...  \n",
       "21      2017-05-15 04:27:00  Историята на една от най-богатите фамилии в св...  \n",
       "22      2017-05-15 04:07:00  - Господин Аспарухов, подготвяте поетичен сбор...  \n",
       "23      2017-05-14 22:58:00  Тя предрича идването на комунизма, Втората све...  \n",
       "24      2017-05-14 21:32:00  Руско-българският документален филм РЕКВИЕМ ЗА...  \n",
       "25      2017-05-14 16:22:00  Всички сме чували за тайните общества като Илю...  \n",
       "26      2017-05-14 16:15:00  Даниела Симидчиева е директор на Центъра за пр...  \n",
       "27      2017-05-14 16:15:00  Даниела Симидчиева е директор на Центъра за пр...  \n",
       "28      2017-05-14 16:04:00  На 7 май американският орбитален самолет Х-37В...  \n",
       "29      2017-05-14 13:58:00  Тя не е португалската Ванга. Откровенията, кои...  \n",
       "...                     ...                                                ...  \n",
       "2785    2016-11-21 14:10:00  Виждаме карти таро с образи, даващи представа ...  \n",
       "2786    2016-11-21 12:16:00  Годината е 1980. В Москва тече Олимпиада, коят...  \n",
       "2787    2016-11-21 12:16:00  Годината е 1980. В Москва тече Олимпиада, коят...  \n",
       "2788    2016-11-21 11:28:00  ШЕФ НА ВСЕМОГЪЩИТЕ ИЛЮМИНАТИ НЕ ИЗДЪРЖА И СЕ Р...  \n",
       "2789    2016-11-21 00:00:00  Имам рецепти против 25 вида тумори. Билките мо...  \n",
       "2790    2016-11-20 21:54:00  Понеже народът на елитното тракийско племе евр...  \n",
       "2791    2016-11-20 12:00:00  Русия, Великобритания, Австралия, Канада, Нова...  \n",
       "2792    2016-11-20 10:34:00  &amp;bdquo;Нека направим света отново велик – ...  \n",
       "2793    2016-11-20 10:21:00  „Нека направим света отново велик – заедно!“. ...  \n",
       "2794    2016-11-20 07:02:00  Най-сетне! Истинската истина! Шок, бомба, ужас...  \n",
       "2795    2016-11-20 02:03:00  Русия, Великобритания, Австралия, Канада, Нова...  \n",
       "2796    2016-11-19 17:09:00  Острота и хапливост - едно по-различно мнение ...  \n",
       "2797    2016-11-19 15:25:00  Векове наред Странджа планина е била дом на ра...  \n",
       "2798    2016-11-19 12:00:00  Най-сетне! Истинската истина! Шок, бомба, ужас...  \n",
       "2799    2016-11-19 11:59:00  Здравеопазването е най-важният въпрос, с който...  \n",
       "2800    2016-11-19 11:48:00  \"Новини от Грамофон\" - Следете последните нови...  \n",
       "2801    2016-11-19 11:48:00  Най-сетне! Истинската истина! Шок, бомба, ужас...  \n",
       "2802    2016-11-19 11:38:00  19 Ноември 2016, МИН. Побитите камъни край Вар...  \n",
       "2803    2016-11-19 00:43:00  Един обобщен анализ за войната в СирияСкрит те...  \n",
       "2804    2016-11-18 19:37:00  Съветникът по национална сигурност на Тръмп: М...  \n",
       "2805    2016-11-18 17:54:00  Ако статията ви хареса, споделете я с приятели...  \n",
       "2806    2016-11-18 16:53:00  На 21 ноември, понеделник, от 17:30 часа, в ко...  \n",
       "2807    2016-11-18 12:07:00  От много години се спекулира дали и кой ще нас...  \n",
       "2808    2016-11-18 12:02:00  „За смисъла на астрологията“ е новата книга на...  \n",
       "2809    2016-11-18 10:12:00  Световната премиера на рок операта „Нострадаму...  \n",
       "2810    2016-11-18 08:32:00  “Противозачатъчните правят жените неатрактивни...  \n",
       "2811    2016-11-18 07:24:00  ЧЕЗ осъществява амбициозна инвестиционна прогр...  \n",
       "2812    2016-11-17 22:25:00  Преди четири години експертът по международна ...  \n",
       "2813    2016-11-17 21:36:00  Световната премиера на рок операта „Нострадаму...  \n",
       "2814    2016-11-17 21:07:00  Циганите си нямат държава,нямат си правителств...  \n",
       "\n",
       "[2815 rows x 6 columns]"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "clean = train.dropna(subset=['Content'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "TfidfVectorizer(analyzer='word', binary=False, decode_error='strict',\n",
       "        dtype=<class 'numpy.int64'>, encoding='utf-8', input='content',\n",
       "        lowercase=True, max_df=1.0, max_features=None, min_df=2,\n",
       "        ngram_range=(1, 3), norm='l2', preprocessor=None, smooth_idf=True,\n",
       "        stop_words=None, strip_accents=None, sublinear_tf=False,\n",
       "        token_pattern='(?u)\\\\b\\\\w\\\\w+\\\\b', tokenizer=None, use_idf=True,\n",
       "        vocabulary=None)"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf = TfidfVectorizer(ngram_range=(1,3), min_df=2)\n",
    "tfidf.fit(clean['Content'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'нашия конгрес': 291940,\n",
       " 'преди читателят': 383743,\n",
       " 'играта изкривявайки през': 166764,\n",
       " 'наблюдения показват че': 278346,\n",
       " 'этой неделе москву': 558901,\n",
       " 'от нас последователите': 335196,\n",
       " 'оксфорд': 323040,\n",
       " 'на 28 вероятна': 258114,\n",
       " 'ще провокира': 557110,\n",
       " 'статукво сме си': 477360,\n",
       " 'предполага изсушаването': 384716,\n",
       " 'сталин далече': 475606,\n",
       " 'методиев вчерашният': 241937,\n",
       " 'затова главна': 159958,\n",
       " 'не се разминават': 295656,\n",
       " 'хага тъй като': 532163,\n",
       " 'успяла да': 525687,\n",
       " 'партньорствата от моста': 351459,\n",
       " 'годината дружески': 88620,\n",
       " 'пред апостола': 382131,\n",
       " 'процедура не имало': 403043,\n",
       " 'процента хора които': 403125,\n",
       " 'чужди специалисти': 552639,\n",
       " 'тях са доставяли': 519456,\n",
       " 'възможния': 76749,\n",
       " 'получава забрана да': 370636,\n",
       " 'началото на 2017': 290855,\n",
       " 'очаквайте голяма война': 346206,\n",
       " 'една дума израз': 133684,\n",
       " 'злото да': 164224,\n",
       " 'днешната дата факт': 116280,\n",
       " 'за убежище прилагането': 150619,\n",
       " 'истината ще': 189552,\n",
       " 'още нейни': 347307,\n",
       " 'бъде запазен': 48040,\n",
       " 'b0': 9200,\n",
       " 'че например бившия': 545056,\n",
       " 'постигат безсмъртието 4674': 376377,\n",
       " 'на рискове каквито': 272688,\n",
       " 'явно самият': 559982,\n",
       " 'труман': 514185,\n",
       " 'пo cлeд': 347910,\n",
       " 'украйна преди': 522251,\n",
       " 'класациите да ти': 203176,\n",
       " 'за поръчкови': 148441,\n",
       " '103 римскио': 843,\n",
       " 'поне да': 372077,\n",
       " 'терминът климатични промени': 501469,\n",
       " 'обречена поне': 318350,\n",
       " 'което не вярно': 206600,\n",
       " 'на другите му': 262923,\n",
       " 'украйна разпалването на': 522263,\n",
       " 'ген радев': 81955,\n",
       " 'възпитавайте децата си': 77213,\n",
       " 'правите дела': 379694,\n",
       " 'прибалтика под руска': 391922,\n",
       " 'сцена като свободните': 483271,\n",
       " 'вашата страна това': 55244,\n",
       " 'миг за': 243256,\n",
       " 'но мен': 308273,\n",
       " 'съвети предложения': 484615,\n",
       " 'ammo sexual': 8928,\n",
       " 'спокойна ли ще': 470788,\n",
       " 'контекст общобалкански европейски': 214352,\n",
       " 'света ще го': 435359,\n",
       " 'души ранени': 127636,\n",
       " 'когато разбрахме за': 205469,\n",
       " 'западни страни са': 156428,\n",
       " 'го защото смятам': 86406,\n",
       " 'закупуване на': 154929,\n",
       " 'уникално': 523424,\n",
       " 'хитов': 534446,\n",
       " 'че нещата ще': 545250,\n",
       " 'измисли накрая специалната': 173242,\n",
       " 'приспособяване': 395136,\n",
       " 'биология': 40261,\n",
       " 'закодирали': 154582,\n",
       " 'през тридесет петгодишната': 387864,\n",
       " 'раждането си': 409906,\n",
       " 'да събират бегликчиите': 104452,\n",
       " 'ввс отговор': 55589,\n",
       " 'не съм убеден': 296172,\n",
       " 'удари другия': 521098,\n",
       " 'натъпкана бандити мошеници': 289632,\n",
       " 'сме средата': 465372,\n",
       " 'личния ви': 229979,\n",
       " 'между думи': 239289,\n",
       " 'гyшĸaтa дa': 81120,\n",
       " 'жeнитe ĸoйтo': 139467,\n",
       " 'радикална ислямистка идеология': 409491,\n",
       " 'франция германия защото': 531477,\n",
       " 'му васил': 253803,\n",
       " 'сила храм насам': 456735,\n",
       " 'да даде пари': 97324,\n",
       " 'атакувал защо': 29931,\n",
       " 'епископ константин': 137775,\n",
       " 'татко казва пред': 496551,\n",
       " 'дивизией корпуса морской': 114236,\n",
       " 'дезинформацията западът': 109203,\n",
       " 'чуваме гласа': 551891,\n",
       " 'той потъваше': 509527,\n",
       " 'гарантиране на': 81615,\n",
       " 'застигната': 159485,\n",
       " 'певицата известна желязната': 352068,\n",
       " 'кратер': 219377,\n",
       " 'са задължително': 427620,\n",
       " 'отчаянието': 345239,\n",
       " 'са неразбираеми за': 428563,\n",
       " 'да погребан': 100816,\n",
       " 'недков нашумя': 298769,\n",
       " 'следващият': 462413,\n",
       " 'сащ четох': 434154,\n",
       " 'доктор на науките': 120761,\n",
       " 'на бюджетния': 260231,\n",
       " 'не подкрепил': 294577,\n",
       " 'почит': 378116,\n",
       " 'сме просто': 465294,\n",
       " 'зловещите предсказания': 164130,\n",
       " 'бял нямаш': 51934,\n",
       " 'шеф на националната': 553690,\n",
       " 'виктор калев': 62305,\n",
       " 'се просветят': 445787,\n",
       " 'един ядрен': 133017,\n",
       " 'измама не може': 172892,\n",
       " 'да се взаиморазрушат': 102752,\n",
       " 'подчертано червен': 366199,\n",
       " 'телефонный': 500388,\n",
       " 'сащ ето': 433605,\n",
       " 'на локхийд': 266899,\n",
       " 'нелепо след като': 300347,\n",
       " 'повърхностен поглед истинската': 362769,\n",
       " 'софия се': 468530,\n",
       " 'българия тогава': 50364,\n",
       " 'даже възможно': 105928,\n",
       " 'от даниел': 332355,\n",
       " 'върнах обаче': 79287,\n",
       " 'обявяваш срещу': 320393,\n",
       " 'риби чисти': 421318,\n",
       " 'на бившето': 259424,\n",
       " 'бързо от очакваното': 51425,\n",
       " 'мирового': 245364,\n",
       " 'реализира кадър по': 416990,\n",
       " 'че доказателствата не': 543871,\n",
       " 'цялото демократично семейство': 541463,\n",
       " 'цеца също твърди': 540043,\n",
       " 'симптоми на остеопороза': 457665,\n",
       " 'нато затова той': 289296,\n",
       " 'земя ключът към': 163330,\n",
       " 'нация ще': 290671,\n",
       " 'се установяват шест': 448198,\n",
       " 'будут всячески': 46711,\n",
       " 'също така обозначава': 491300,\n",
       " 'голямо признание дори': 90983,\n",
       " 'съобщение пълния му': 487908,\n",
       " 'паралелна': 350326,\n",
       " 'сметка човек': 465789,\n",
       " 'да се напише': 103124,\n",
       " 'десетилетия то': 111923,\n",
       " 'като заплахата от': 199027,\n",
       " 'тиквено': 503040,\n",
       " 'сары': 433225,\n",
       " 'задать себе такой': 153473,\n",
       " 'надежда че': 279691,\n",
       " 'на нормалност или': 269209,\n",
       " 'адекватна ли': 20865,\n",
       " 'някакви енергии': 312488,\n",
       " 'мисли човек за': 245724,\n",
       " 'поставена способността': 376017,\n",
       " 'или если': 178793,\n",
       " 'турция то не': 516673,\n",
       " 'хладен ум': 534559,\n",
       " 'входа безвъзвратно': 75379,\n",
       " 'излъчвал толкова силна': 172725,\n",
       " 'това продажно малцинство': 506244,\n",
       " 'история американските британските': 190128,\n",
       " 'трансграничен район обхващат': 512425,\n",
       " 'върху обществото научил': 79782,\n",
       " 'застрахователни': 159507,\n",
       " 'твърди решения за': 497190,\n",
       " 'информация за скритата': 187478,\n",
       " 'че изкуството': 544278,\n",
       " 'още личат': 347194,\n",
       " 'него годините': 297425,\n",
       " 'россии как постоянному': 423770,\n",
       " 'торпедированном ттп случае': 511008,\n",
       " 'изследването на': 176117,\n",
       " 'мислите вие': 245760,\n",
       " 'доверявала звездата': 119401,\n",
       " 'да срещнете затруднения': 104249,\n",
       " 'била доказана': 38829,\n",
       " 'кръста един от': 220995,\n",
       " 'армия кого нападате': 28439,\n",
       " 'пари за три': 350537,\n",
       " 'като казва': 199203,\n",
       " 'използвани наземни войски': 174702,\n",
       " 'подклаждат трета световна': 364488,\n",
       " 'хариман създава своята': 532943,\n",
       " '15 сюжета повечето': 1731,\n",
       " 'ереван защо господ': 138026,\n",
       " 'опасност няма': 324393,\n",
       " 'за кражба': 146546,\n",
       " '15 ти': 1736,\n",
       " 'хиляди легла': 533905,\n",
       " 'крайнодесният стив банън': 218860,\n",
       " 'немецкого гора': 300427,\n",
       " 'държавния капитализъм': 129578,\n",
       " 'когато учениците': 205679,\n",
       " 'февруари 1997': 528541,\n",
       " 'департамент на сащ': 111601,\n",
       " 'окето съм уверен': 322418,\n",
       " 'мантра на': 235975,\n",
       " 'усещане': 524786,\n",
       " 'робивеликобритания': 422091,\n",
       " 'земи ще': 163185,\n",
       " 'на американския флот': 258779,\n",
       " 'време на планов': 70324,\n",
       " 'без друго': 34225,\n",
       " 'сближаване за стопляне': 434222,\n",
       " 'комунизма колкото': 213102,\n",
       " 'агресия поражда омраза': 20673,\n",
       " 'ги намерих': 83688,\n",
       " 'тези тъй отколешни': 499659,\n",
       " 'сряда ще се': 474793,\n",
       " 'да отслабна на': 100494,\n",
       " 'той участва': 509924,\n",
       " 'най мощният хормон': 281539,\n",
       " 'твърдите поддръжници': 497290,\n",
       " 'рецепта за политика': 420424,\n",
       " 'луциферианската терминология която': 231413,\n",
       " 'атлантида което': 30159,\n",
       " 'пържено': 407187,\n",
       " 'ползвана замърсявана': 368810,\n",
       " 'по махалите': 359325,\n",
       " 'архиваря марин': 28968,\n",
       " 'фейсбук списъка': 528760,\n",
       " 'магистратските връзки': 233173,\n",
       " 'франческа коледния сборник': 531629,\n",
       " 'му се присмиваме': 254819,\n",
       " 'блъскала се черешата': 42000,\n",
       " 'предварително са': 382900,\n",
       " 'селекция от коледни': 450578,\n",
       " 'от ид': 333399,\n",
       " 'мат диана бог': 237316,\n",
       " 'германия поведе въвеждането': 83072,\n",
       " 'здрава спорна годината': 162662,\n",
       " 'спря сърцето bradva': 472505,\n",
       " 'по дълъг': 358604,\n",
       " 'си купят замъци': 453706,\n",
       " 'да преминете през': 101662,\n",
       " 'контрола илюминати': 214650,\n",
       " 'доближи нашата': 118346,\n",
       " 'по малка може': 359245,\n",
       " 'культурными общественными прочими': 221882,\n",
       " 'познахте': 367308,\n",
       " 'истаблишмънт': 189282,\n",
       " 'във връзка плановете': 75839,\n",
       " 'руско движение': 425773,\n",
       " 'ключовият': 204027,\n",
       " 'на тежестта на': 275444,\n",
       " 'ръка ще': 426188,\n",
       " 'съм се виждал': 487335,\n",
       " 'bъв фypнaтa нa': 9989,\n",
       " 'опита на': 325013,\n",
       " 'ротшилд печелят': 424097,\n",
       " 'брод пресичат искъра': 46037,\n",
       " 'пазителя на': 349285,\n",
       " 'този артефакт за': 507860,\n",
       " 'план китай': 356017,\n",
       " 'сили класическото зомбиране': 456935,\n",
       " 'борд': 44641,\n",
       " 'решението да бъде': 420818,\n",
       " 'бога никога по': 42400,\n",
       " 'върху жертвите': 79629,\n",
       " 'напълно подчинена на': 285734,\n",
       " 'разкритията за': 412413,\n",
       " 'във все': 75854,\n",
       " 'оръжия tow снаряди': 327281,\n",
       " 'матара не': 237350,\n",
       " 'туризма николина': 516182,\n",
       " 'времени что значит': 70794,\n",
       " 'бпц': 45215,\n",
       " 'зимбабве диамантен магнат': 163793,\n",
       " 'градска': 92725,\n",
       " 'утихнало имало нови': 526149,\n",
       " 'немецкой газете': 300430,\n",
       " 'публичност археологическите': 404835,\n",
       " 'помагащи': 371359,\n",
       " 'индоктриниране human еманципация': 185390,\n",
       " 'съм отказвал заем': 487232,\n",
       " 'чак до герб': 541876,\n",
       " 'за протокола да': 148914,\n",
       " 'се изградят': 441645,\n",
       " 'по тия': 360949,\n",
       " 'това последица от': 506116,\n",
       " 'мин пo cмpaдлиĸa': 244122,\n",
       " 'капките на': 197031,\n",
       " 'този напрегнат богат': 508211,\n",
       " 'изчезне българите': 177629,\n",
       " 'за храброст': 150915,\n",
       " 'на принцеса даяна': 271576,\n",
       " 'президент сша': 388169,\n",
       " 'дращи съзнанието': 124356,\n",
       " 'болестта медицинското': 43943,\n",
       " 'проблемите за': 396983,\n",
       " 'мнението ти новият': 247366,\n",
       " 'пострадали 20': 376767,\n",
       " 'им се грижели': 180693,\n",
       " 'никого не спасявала': 306413,\n",
       " 'случай антифриз': 463806,\n",
       " 'предсказания на economist': 385414,\n",
       " 'борим медиите допълни': 44700,\n",
       " 'на първия няколко': 272050,\n",
       " 'няма прекъсване': 314268,\n",
       " 'самоизследване не': 432354,\n",
       " '000 избити': 81,\n",
       " 'но явно': 309526,\n",
       " 'партийните си структури': 351174,\n",
       " 'трима души': 513443,\n",
       " 'ленин са': 226955,\n",
       " 'ще бъдат погребани': 555088,\n",
       " 'от сащ от': 337426,\n",
       " 'се очаква': 444196,\n",
       " 'общи тетевенският': 319609,\n",
       " 'изграден увеселителен спа': 170641,\n",
       " 'ни само': 305157,\n",
       " 'швеция норвегия': 553400,\n",
       " 'наистина иска свят': 280572,\n",
       " 'войните югославия': 68655,\n",
       " 'сестра на': 452052,\n",
       " 'забравяме нарастващата': 151675,\n",
       " 'от путин хората': 336848,\n",
       " 'икономиката мексико ще': 178169,\n",
       " 'по состоянию на': 360654,\n",
       " 'cвapят лиcтa oт': 11402,\n",
       " 'имали достатъчно': 182601,\n",
       " 'безкритично тя': 34810,\n",
       " 'мнозина виждат това': 249232,\n",
       " 'като убит шефът': 200895,\n",
       " 'две основни причини': 108154,\n",
       " 'ii уже был': 13666,\n",
       " 'но между': 308268,\n",
       " 'нeвeднъж мy': 257673,\n",
       " 'скалите от': 459464,\n",
       " 'власт светът': 64462,\n",
       " 'изложени негови лични': 172658,\n",
       " 'водят по': 66934,\n",
       " 'първият въпрос който': 406722,\n",
       " 'тема бъбреците дори': 500461,\n",
       " 'именувана на': 184299,\n",
       " 'посочи симеонов от': 375716,\n",
       " 'продължило толкова ожесточеното': 398734,\n",
       " 'през вашия': 387356,\n",
       " 'също най вече': 491114,\n",
       " 'са изцяло': 427895,\n",
       " 'нима четири': 306817,\n",
       " 'запознанства за': 157386,\n",
       " 'си редовно': 455096,\n",
       " 'повод да влезат': 362506,\n",
       " 'се пострада най': 444800,\n",
       " 'най накрая трябва': 281561,\n",
       " 'никой не експерт': 306485,\n",
       " 'стотици': 479218,\n",
       " 'война или': 67782,\n",
       " 'изглежда както трябва': 170350,\n",
       " 'радикални реформи духа': 409503,\n",
       " 'отреди': 344381,\n",
       " 'епископа на папата': 137787,\n",
       " 'определено тук въпросът': 325883,\n",
       " 'тракия административен център': 512189,\n",
       " 'ви еркеч еркетш': 59900,\n",
       " 'своите основания да': 437761,\n",
       " 'човек скаларните': 550525,\n",
       " 'неразкрити мистерии долу': 301883,\n",
       " 'източник strategic': 176798,\n",
       " 'век според историка': 56325,\n",
       " 'чак от европа': 541901,\n",
       " 'полети небето на': 368708,\n",
       " 'лошо не искате': 231045,\n",
       " 'телеграма че жена': 500177,\n",
       " 'каша преди': 201514,\n",
       " 'петна всичко има': 353601,\n",
       " 'определено са': 325878,\n",
       " 'защото те създават': 161820,\n",
       " 'квиродол западните': 201681,\n",
       " 'цвете като едно': 538484,\n",
       " 'определи коя': 325901,\n",
       " 'что трамп фигура': 551728,\n",
       " 'сорос за атлантическия': 468140,\n",
       " 'постепенно аз започнах': 376280,\n",
       " 'до велико търново': 116890,\n",
       " 'че името ми': 544430,\n",
       " 'след като беше': 461412,\n",
       " 'республиканец от аризоны': 420094,\n",
       " 'разсечен досега': 414491,\n",
       " 'се помня много': 444711,\n",
       " 'случая срещу хизбула': 464134,\n",
       " 'гуторанов 1995': 94829,\n",
       " 'живот преди': 141845,\n",
       " 'му чупели очилата': 255081,\n",
       " 'вероятност бе китай': 57585,\n",
       " 'за снаряда': 149783,\n",
       " 'възложил на': 76658,\n",
       " 'търговията опиум': 517282,\n",
       " 'на мейнард кейнс': 267396,\n",
       " 'писаха за': 355040,\n",
       " 'по разкодирането след': 360170,\n",
       " 'малки детски ясли': 234778,\n",
       " 'вече цели градове': 58729,\n",
       " 'бяхме ужасени беше': 52621,\n",
       " 'вълшебен прашец': 78007,\n",
       " 'феноменен божи': 528939,\n",
       " 'били имигранти': 39417,\n",
       " 'анонимните предупредиха': 26898,\n",
       " 'седмица каза': 449867,\n",
       " 'спасяват себе си': 469392,\n",
       " 'това много често': 505442,\n",
       " 'дете но става': 112321,\n",
       " 'явявайки': 560036,\n",
       " 'роботските вируси': 422136,\n",
       " 'експерти смятат': 136049,\n",
       " 'си милитарист': 453840,\n",
       " 'огласено на арабски': 320878,\n",
       " 'неговото любопитство дали': 298537,\n",
       " 'се припознал героите': 445537,\n",
       " 'като затворници насочвайки': 199042,\n",
       " 'съдържа тези': 485833,\n",
       " 'бойците от царската': 43571,\n",
       " 'да те': 104653,\n",
       " 'на кнр женмин': 265705,\n",
       " 'му политика': 254572,\n",
       " 'пода на храма': 363655,\n",
       " 'киприян знам': 202394,\n",
       " 'към всевишния че': 223097,\n",
       " 'места европа периодично': 241260,\n",
       " 'вашингтон китай русия': 55324,\n",
       " 'да се сплотят': 103615,\n",
       " 'защо баща ви': 160748,\n",
       " 'от реалността': 337088,\n",
       " 'финансова власт': 530093,\n",
       " 'възможно но възможно': 76818,\n",
       " 'b2 d1 8f': 9227,\n",
       " 'моя страна моя': 253290,\n",
       " 'на дневния': 262645,\n",
       " 'долче вита македонското': 121380,\n",
       " 'европа при': 131150,\n",
       " 'категорични': 198208,\n",
       " 'като пекне': 199984,\n",
       " '150 000': 1749,\n",
       " 'лошия случай': 231012,\n",
       " 'от вътрешния': 332022,\n",
       " 'пловдивската офталмоложка': 357365,\n",
       " 'чудото да': 552396,\n",
       " 'шоколад за всичко': 554263,\n",
       " 'спечеля пари от': 470078,\n",
       " 'кръвопролитията сирия това': 220823,\n",
       " 'доц атанасов гайдарски': 123967,\n",
       " 'обвързаности чрез договори': 315876,\n",
       " 'звучи презареждане ядрено': 162545,\n",
       " 'bg history 2017': 9585,\n",
       " 'ченгета покрай слава': 547730,\n",
       " 'сигурност през юни': 456341,\n",
       " 'на внезапните': 260822,\n",
       " 'са платени от': 428961,\n",
       " 'еркеч козичино': 138100,\n",
       " 'по скоро емблема': 360523,\n",
       " 'тaмян cмecтa': 492113,\n",
       " 'подобрена': 365287,\n",
       " 'който ще каже': 210877,\n",
       " 'натоварения архивни': 289462,\n",
       " 'от пугачова двамата': 336844,\n",
       " 'че не му': 545153,\n",
       " 'се върнахме премерихме': 440448,\n",
       " 'ли оставаше встрани': 228038,\n",
       " 'мин aнacoн πиe': 244107,\n",
       " 'подготвим': 364074,\n",
       " 'достижения': 123687,\n",
       " 'делови личности': 110465,\n",
       " 'са рептили': 429558,\n",
       " 'линия затова': 229169,\n",
       " 'морските пътища': 252643,\n",
       " '75 години успял': 8174,\n",
       " 'основно на гърция': 328645,\n",
       " 'сбъднали': 434436,\n",
       " 'израз the': 175645,\n",
       " 'не пасва на': 294471,\n",
       " 'статията вече не': 477283,\n",
       " 'малка искра': 234695,\n",
       " 'не узнаем': 296378,\n",
       " 'на нашето време': 268636,\n",
       " 'храм първопрестолния божи': 536916,\n",
       " 'си мисли човек': 453862,\n",
       " 'това общество били': 505861,\n",
       " 'петстотин метра или': 353905,\n",
       " 'спорт оттам идва': 471985,\n",
       " 'сръбкините им': 474731,\n",
       " 'ония години чийто': 323863,\n",
       " 'кот': 216841,\n",
       " 'града на русия': 92537,\n",
       " 'саймън': 430450,\n",
       " 'плаща се кръв': 357042,\n",
       " 'но държите': 307910,\n",
       " 'вече не могат': 58374,\n",
       " 'медии започнаха както': 238651,\n",
       " 'парис': 350721,\n",
       " 'има значение': 181327,\n",
       " 'коренна промяната американската': 215999,\n",
       " 'влиза храма': 65014,\n",
       " 'представя млад мъж': 386018,\n",
       " 'дьо лашариер поддържа': 129987,\n",
       " 'впуснат масивна': 69581,\n",
       " 'никакво значение кой': 306178,\n",
       " 'неясни интереси тръмп': 304263,\n",
       " 'републикански шампион във': 419975,\n",
       " 'линии по': 229154,\n",
       " 'едно изключително': 134575,\n",
       " 'кукла на конци': 221426,\n",
       " 'колумбия': 211899,\n",
       " 'от възложителя': 331973,\n",
       " 'една рождена дата': 134108,\n",
       " 'играч като': 166792,\n",
       " 'здрави лекарите да': 162805,\n",
       " 'му помогнал нар': 254589,\n",
       " 'на север после': 273720,\n",
       " 'слабо недъзите': 460768,\n",
       " 'притежават дарбата': 395596,\n",
       " 'състояния вас напротив': 489915,\n",
       " 'от съветско': 338126,\n",
       " 'лурис мъжът добра': 231364,\n",
       " 'ли колко трудно': 227865,\n",
       " 'от будущего': 331462,\n",
       " 'да хора': 105114,\n",
       " 'няма шанс': 314405,\n",
       " 'нямаше как': 314696,\n",
       " 'общност да работи': 319740,\n",
       " 'от бистрица': 331249,\n",
       " 'нас климатът ми': 287499,\n",
       " 'напуска се': 285505,\n",
       " 'започва нова ера': 157562,\n",
       " 'патриарх неофит': 351726,\n",
       " 'милувал': 244071,\n",
       " 'рам': 415888,\n",
       " 'заместник външният министър': 155545,\n",
       " 'вашата фирма': 55245,\n",
       " 'това проблеми на': 506240,\n",
       " 'да се идентифицира': 102960,\n",
       " 'картини има': 197698,\n",
       " 'точното място': 511703,\n",
       " 'министърът който': 244886,\n",
       " 'българска родова': 50575,\n",
       " 'усилията ни': 524936,\n",
       " 'привкус': 392250,\n",
       " 'но обратен': 308601,\n",
       " 'за социалното': 149817,\n",
       " 'за фалшив': 150782,\n",
       " 'новости има': 310718,\n",
       " 'видяна от': 61197,\n",
       " 'другая история': 125230,\n",
       " '1869 кюстендил': 2427,\n",
       " 'амшел ротшилд решава': 25869,\n",
       " 'по печата': 359861,\n",
       " 'ежегодната си': 135099,\n",
       " 'на такъв фактор': 275358,\n",
       " 'те действителност': 497602,\n",
       " 'груди единолично представляющий': 93996,\n",
       " 'готова на': 92125,\n",
       " 'управляват англия': 524184,\n",
       " 'обвързват встъпването': 315895,\n",
       " 'икономистите': 178235,\n",
       " 'издателство распер': 171140,\n",
       " 'арогантно малцинство': 28623,\n",
       " 'програми на': 397892,\n",
       " 'съвпадала': 484923,\n",
       " 'морбили 17': 252346,\n",
       " 'дългоочакваната национална': 128225,\n",
       " 'втората донорска': 74980,\n",
       " 'ли ми': 227895,\n",
       " 'неизменна трета световна': 299516,\n",
       " 'се противопоставяха': 445820,\n",
       " 'ви нужни за': 60115,\n",
       " 'събирал свидетелства': 483870,\n",
       " 'майк адамс но': 233731,\n",
       " 'изсушен вид': 176378,\n",
       " 'разпростре турската': 413996,\n",
       " 'държави защото': 129178,\n",
       " 'че сегашната': 546435,\n",
       " 'сестра лусия': 452040,\n",
       " 'пълноценно': 406180,\n",
       " 'дава сигнал': 105381,\n",
       " 'щастлив спътника си': 554828,\n",
       " 'направили един': 284670,\n",
       " 'да загинат': 97705,\n",
       " 'свърши всеизвестно': 438934,\n",
       " 'количества дихидроген': 211418,\n",
       " 'рани десетки': 416064,\n",
       " 'за премиерата чуйте': 148680,\n",
       " 'ще си останем': 557710,\n",
       " 'откраднат петеа той': 342142,\n",
       " 'илюзионист историята монархиите': 179879,\n",
       " 'се харчи': 448284,\n",
       " 'алтернативен': 24157,\n",
       " 'висшата форма': 63310,\n",
       " 'по арменския въпрос': 357873,\n",
       " 'донесъл на дева': 121951,\n",
       " 'строителството му той': 481832,\n",
       " 'като член на': 201082,\n",
       " 'били типични за': 39617,\n",
       " 'химическото оръжие ето': 534194,\n",
       " 'спрем пример': 472458,\n",
       " 'психично': 404217,\n",
       " 'поуки едва': 377695,\n",
       " 'ванга се сдобива': 54515,\n",
       " 'черта върху': 548278,\n",
       " 'полезна през цялото': 368594,\n",
       " 'цялата слабост на': 541294,\n",
       " 'семейството близките ще': 451234,\n",
       " 'се провежда съвещание': 445647,\n",
       " 'коридорите на': 216136,\n",
       " 'служи разузнаването след': 463502,\n",
       " 'германия италия чехия': 83021,\n",
       " '500 600': 7372,\n",
       " 'мутафчиев там': 255621,\n",
       " 'нататък обществата': 289126,\n",
       " 'да изчезнат няма': 98516,\n",
       " 'били изтласкани': 39409,\n",
       " 'дамаск проблем на': 106752,\n",
       " 'желает следуя': 139769,\n",
       " 'други че войната': 125721,\n",
       " 'което ясно показва': 207221,\n",
       " 'града фокус': 92569,\n",
       " 'ме обичаха всички': 238317,\n",
       " 'хюз джо': 538161,\n",
       " 'сграда центъра на': 439528,\n",
       " 'айк накара светът': 21936,\n",
       " 'на тялото от': 276268,\n",
       " 'нар периферна земя': 285890,\n",
       " 'била сляпа сляпата': 39072,\n",
       " 'заложената': 155310,\n",
       " 'замаяност необясними': 155441,\n",
       " 'генериранат': 82158,\n",
       " 'нежелателна': 299030,\n",
       " 'смъртоносният огън': 466346,\n",
       " 'на юнкер че': 278012,\n",
       " 'на развалините': 272193,\n",
       " 'които създаваше': 209023,\n",
       " 'за сирийския конфликт': 149669,\n",
       " 'град инсито там': 92382,\n",
       " 'заселват': 159105,\n",
       " 'нужно доста': 312078,\n",
       " 'което съчетало': 207092,\n",
       " 'другари защо отстъпваме': 125158,\n",
       " 'стаменов същия ден': 475863,\n",
       " 'как беше кога': 193302,\n",
       " 'важните теории': 53306,\n",
       " 'за доктор от': 145255,\n",
       " 'от исуш': 333749,\n",
       " 'направи характерните ми': 284607,\n",
       " 'държавата разсипаха': 129045,\n",
       " 'била погребана родните': 38994,\n",
       " 'на селата': 273813,\n",
       " 'са ми загубили': 428203,\n",
       " 'беше продължило': 36883,\n",
       " 'не принадлежи изцяло': 294926,\n",
       " 'азиатско тихоокеанския': 21817,\n",
       " 'какво семейство': 194601,\n",
       " 'отпечатък върху': 344060,\n",
       " 'прочистваща': 403477,\n",
       " 'ĸoгoтo ocтaвя пaнcиoн': 18655,\n",
       " 'откроявали плътни няколко': 342716,\n",
       " 'който изучавал': 209921,\n",
       " 'методи така': 241931,\n",
       " 'том числе применительно': 510585,\n",
       " 'енерго лечение': 137601,\n",
       " 'за какви': 146216,\n",
       " 'президента владимир путин': 388227,\n",
       " 'обхвата дълбочината': 318951,\n",
       " 'както впечатляващото': 194912,\n",
       " 'криещ от всички': 220046,\n",
       " 'кашкавала': 201535,\n",
       " 'фундаменталисти те вярват': 531907,\n",
       " 'пак много по': 349426,\n",
       " 'нашата корумпирана държава': 291464,\n",
       " 'действията му не': 109976,\n",
       " 'магьосницата ванга която': 233354,\n",
       " 'именуется': 184304,\n",
       " 'сет но веднага': 452099,\n",
       " 'неговите пророчества': 298316,\n",
       " 'до просяшка': 117730,\n",
       " 'тexнитe': 492134,\n",
       " 'на китайско американските': 265600,\n",
       " 'израел контролира': 175563,\n",
       " 'свой човек': 437945,\n",
       " 'казваха за': 193113,\n",
       " 'говори слава севрюкова': 87561,\n",
       " 'отваряне за': 339992,\n",
       " 'дупката прелетели': 127091,\n",
       " 'петродоларите': 353844,\n",
       " 'мъчения': 256383,\n",
       " 'гора bezistena': 91132,\n",
       " 'цели единствената': 538873,\n",
       " 'зачеването трябва да': 160438,\n",
       " 'има сатурн': 182109,\n",
       " 'режим през': 418465,\n",
       " 'блика': 41791,\n",
       " 'силна от мене': 457122,\n",
       " 'за то': 150314,\n",
       " 'баба венетка също': 31240,\n",
       " 'по втора точка': 358180,\n",
       " 'моя списък': 253284,\n",
       " 'доказах': 120145,\n",
       " 'видях римския': 61268,\n",
       " 'автор на революционни': 20139,\n",
       " 'време започва': 70154,\n",
       " 'земя принуждава сащ': 163374,\n",
       " 'евростат не': 131732,\n",
       " 'срещата четвъртък': 473800,\n",
       " 'любопитно как': 232190,\n",
       " 'ви разказах': 60250,\n",
       " 'нормална': 311153,\n",
       " 'при неговата внучка': 391486,\n",
       " 'на световния икономически': 273515,\n",
       " 'изпитание манастира': 174187,\n",
       " 'приемат млечни произведения': 392840,\n",
       " 'инквизиторски протокол во': 185711,\n",
       " 'сирия не се': 458671,\n",
       " 'прави европа всичко': 379155,\n",
       " 'наследника на': 288355,\n",
       " 'ком се': 211931,\n",
       " 'българия българия пак': 49708,\n",
       " 'формират световна армия': 531071,\n",
       " 'столицата колониална': 478879,\n",
       " 'колониите': 211850,\n",
       " 'каква ще 2017': 194032,\n",
       " 'част как така': 542434,\n",
       " 'колажи': 211002,\n",
       " 'хиляди книги': 533892,\n",
       " 'чешми водата': 549190,\n",
       " 'съответно доведе': 488104,\n",
       " 'асен чилингиров': 29289,\n",
       " 'тези кълба могат': 499267,\n",
       " 'спря малко преди': 472499,\n",
       " 'беронов': 36171,\n",
       " 'агресивни облъчвания едновременно': 20636,\n",
       " 'стипендии': 478351,\n",
       " 'обаче обама го': 315392,\n",
       " 'земята зад': 163469,\n",
       " 'мненията откровеният': 247398,\n",
       " 'обвити десетилетната': 315841,\n",
       " 'омраза затварянето': 323506,\n",
       " 'на птиците': 271929,\n",
       " 'искали отново да': 188522,\n",
       " 'ненков софия продължих': 300591,\n",
       " 'да избягам от': 98128,\n",
       " 'ротшилд приятелят': 424112,\n",
       " 'israel': 13884,\n",
       " 'стига до ушите': 478045,\n",
       " 'западаща': 156299,\n",
       " 'слави трифонов 1489': 460908,\n",
       " 'срещу погребението': 474356,\n",
       " 'длъжност се откаже': 115620,\n",
       " 'сполетялото нещастие инцидентът': 470861,\n",
       " 'гвардия спортисти остават': 81806,\n",
       " 'ти си се': 502886,\n",
       " 'притежава центъра други': 395556,\n",
       " 'записване извади го': 156944,\n",
       " 'нежност': 299043,\n",
       " 'сащ схемата автора': 434053,\n",
       " 'отношението си към': 343730,\n",
       " 'тук майк че': 515855,\n",
       " 'българка дали заради': 50464,\n",
       " 'светъл великден тъй': 436580,\n",
       " 'вероятно конкретно': 57426,\n",
       " 'за ирисовата': 146152,\n",
       " 'заръката на петричката': 158863,\n",
       " 'че още на': 545589,\n",
       " 'абсолютни корелации между': 19300,\n",
       " 'действия са съпроводени': 109937,\n",
       " 'ĸoличecтвo oĸoлo': 18742,\n",
       " 'като чиновници': 201077,\n",
       " 'индия още първата': 185346,\n",
       " 'лесно отколкото тези': 227169,\n",
       " 'време левски си': 70221,\n",
       " 'влиза непознати води': 64983,\n",
       " 'понеделник до': 372220,\n",
       " 'искъра на': 188927,\n",
       " 'стотици снимки днес': 479250,\n",
       " '1937 29 чувалчета': 2949,\n",
       " 'скулптурът казва че': 460579,\n",
       " 'да бъде преборен': 96298,\n",
       " 'на години може': 261797,\n",
       " 'че същият': 546776,\n",
       " 'разрушавали красотата': 414322,\n",
       " 'иран обяви': 188082,\n",
       " 'свят като се': 439166,\n",
       " 'история занимаваща се': 190170,\n",
       " 'силы будут избавлены': 457373,\n",
       " 'като своите': 200482,\n",
       " 'много ситуации имало': 248619,\n",
       " 'счупи свободни от': 483584,\n",
       " 'енергия по практически': 137540,\n",
       " 'война ще започне': 68273,\n",
       " 'богатите хора света': 42582,\n",
       " 'също за': 491003,\n",
       " 'хаганат': 532169,\n",
       " 'се не може': 443152,\n",
       " 'по култура втори': 359056,\n",
       " 'най щастливите места': 282060,\n",
       " 'ще се отклоня': 557514,\n",
       " 'които са сключили': 208794,\n",
       " 'извика да': 169582,\n",
       " 'врачки шарлатани': 69918,\n",
       " 'елит но': 136898,\n",
       " 'също от преди': 491162,\n",
       " 'около 42': 322601,\n",
       " 'кръв навсякъде': 220719,\n",
       " 'мама да не': 235519,\n",
       " 'от гладна смърт': 332126,\n",
       " 'клуба крупнейшими военно': 203866,\n",
       " 'това момче': 505459,\n",
       " 'извините трёп имеешь': 169629,\n",
       " 'отче': 345257,\n",
       " 'на какво': 265341,\n",
       " 'това ще отнеме': 507142,\n",
       " 'имаме потребител': 182995,\n",
       " 'вътрешността на българия': 80213,\n",
       " 'жертви нещо': 140694,\n",
       " 'използва някакъв уред': 174476,\n",
       " 'агенция интернешънъл': 20533,\n",
       " 'така полезните именно': 494614,\n",
       " 'средства които': 473470,\n",
       " '1945 пада берлин': 3071,\n",
       " 'точка неделният ден': 511224,\n",
       " 'за начина': 147307,\n",
       " 'изучава за да': 177177,\n",
       " 'неприятно се почувстваха': 301759,\n",
       " 'но папата не': 308702,\n",
       " 'интересувам от': 186937,\n",
       " 'бил невероятен': 38429,\n",
       " 'съвременник ще': 485033,\n",
       " 'онкологичното заболяване живя': 323890,\n",
       " 'на стреса': 274849,\n",
       " 'едно създадено такова': 134807,\n",
       " 'му скачат': 254855,\n",
       " 'на ваксини': 260279,\n",
       " 'се доберат те': 440771,\n",
       " 'предсказан': 385340,\n",
       " 'приижда селцето': 393546,\n",
       " 'опитал да': 325038,\n",
       " '2017 за тръмп': 5099,\n",
       " 'правителството са често': 380075,\n",
       " 'ефективни рецепти на': 139263,\n",
       " 'на готовност': 261908,\n",
       " 'други места': 125433,\n",
       " 'почти до': 378300,\n",
       " 'императрица мария тереза': 184656,\n",
       " 'раса които': 416242,\n",
       " 'но пол': 308762,\n",
       " 'от морето циганите': 334941,\n",
       " 'тя сега': 518724,\n",
       " 'месец август се': 240917,\n",
       " 'своите аргументи за': 437656,\n",
       " 'биомагазини': 40265,\n",
       " 'теза той открито': 498929,\n",
       " 'кома което': 211940,\n",
       " 'ес обречен тук': 138303,\n",
       " 'фройд роза люксембург': 531802,\n",
       " 'превалявания около': 381335,\n",
       " 'дълбаят само търсят': 127815,\n",
       " 'власт че': 64499,\n",
       " 'сталин се': 475735,\n",
       " 'малко градче по': 234984,\n",
       " '1981 както за': 3545,\n",
       " 'ме сложат': 238450,\n",
       " 'да излизат от': 98302,\n",
       " 'имейли sms': 183948,\n",
       " 'ii степен': 13661,\n",
       " 'но заразен': 308012,\n",
       " 'атентатът бе извършен': 30111,\n",
       " 'от жива': 333128,\n",
       " 'дълг на': 127973,\n",
       " 'помощ отгледах': 371841,\n",
       " 'фирми регистър': 530326,\n",
       " 'преди месеци излезе': 383531,\n",
       " 'към златото': 223310,\n",
       " 'опасно място какво': 324349,\n",
       " 'се приемало': 445467,\n",
       " 'баба ванга като': 31178,\n",
       " 'за какво иде': 146224,\n",
       " 'те броят': 497446,\n",
       " 'леко глупашкия': 226679,\n",
       " 'актриса 1959': 23322,\n",
       " 'четиристишия но критиците': 549050,\n",
       " 'изобщо не си': 173805,\n",
       " 'редиците': 418259,\n",
       " 'използване на съдържание': 174649,\n",
       " 'високотехнологично производство': 63228,\n",
       " 'разкъсат на парчета': 412466,\n",
       " 'разпадна причината че': 413438,\n",
       " 'на 99': 258272,\n",
       " 'както атентатът америка': 194847,\n",
       " 'си фенове': 455779,\n",
       " 'smap 1978': 16943,\n",
       " 'престола да се': 390467,\n",
       " 'търпението както': 517479,\n",
       " 'близък до': 41762,\n",
       " 'александров споделя': 23841,\n",
       " 'не се интересувам': 295518,\n",
       " 'която лекомислено': 217638,\n",
       " 'да се пазите': 103278,\n",
       " 'трябва да отидат': 515327,\n",
       " 'военния поход': 67293,\n",
       " 'сили ще се': 457031,\n",
       " 'това звучало': 504919,\n",
       " 'жената не взела': 140281,\n",
       " 'играе по техните': 166671,\n",
       " 'всичко през призмата': 73920,\n",
       " 'съединените щати петела': 485983,\n",
       " 'тунел на': 516096,\n",
       " 'благоговение': 40832,\n",
       " 'че чувства русия': 547438,\n",
       " 'феноменалната пророчица': 528922,\n",
       " 'било престижно да': 39984,\n",
       " 'високия земен': 63099,\n",
       " 'като проведе един': 200262,\n",
       " 'овче стадо за': 320827,\n",
       " 'живее много тежко': 141055,\n",
       " 'няколко живота да': 313421,\n",
       " 'цветков': 538509,\n",
       " 'удар петролът поскъпна': 521009,\n",
       " 'млякото ви причинява': 247195,\n",
       " 'името на колона': 184374,\n",
       " '580 хиляди': 7641,\n",
       " 'опорна точка лост': 325551,\n",
       " 'new england journal': 14884,\n",
       " 'ботев сто': 45073,\n",
       " 'показното': 367889,\n",
       " 'метеорит но': 241805,\n",
       " 'също ми напомня': 491081,\n",
       " 'haarp който идва': 13340,\n",
       " 'планетата да поробят': 356256,\n",
       " 'на българия видя': 260036,\n",
       " 'вани имахте': 54729,\n",
       " 'създаващ войни': 486402,\n",
       " 'година на 19': 88186,\n",
       " 'пиeм': 354381,\n",
       " 'отговарят на съдържанието': 340522,\n",
       " 'предпочели да': 384881,\n",
       " 'практика частния': 380972,\n",
       " '20 години живее': 4087,\n",
       " 'по чиито': 361208,\n",
       " 'при която да': 391372,\n",
       " 'това че дребната': 507010,\n",
       " 'ако кажа': 22370,\n",
       " 'настъпят огромни': 289031,\n",
       " 'позналите ги': 367173,\n",
       " 'започнеш такава': 158102,\n",
       " 'минимални женева става': 244634,\n",
       " 'холивудска еуфория': 535042,\n",
       " 'през трийсетте': 387865,\n",
       " 'еркеч петко': 138104,\n",
       " 'сме едно': 465091,\n",
       " 'джесуру повезло': 113344,\n",
       " 'използват тази връзка': 174795,\n",
       " 'на международната': 267370,\n",
       " 'помолила да': 371771,\n",
       " 'причина майер подновява': 395947,\n",
       " 'бомбата майка срещу': 44404,\n",
       " 'пороби руснаците да': 373591,\n",
       " 'штат техас очень': 554484,\n",
       " 'образования по английска': 318058,\n",
       " '2010 създаден от': 4581,\n",
       " 'ирак йемен сомалия': 187929,\n",
       " 'там бойко': 495928,\n",
       " 'родното место на': 422822,\n",
       " 'дали поради липса': 106491,\n",
       " 'седи срещу': 449809,\n",
       " 'минути от оформянето': 245002,\n",
       " 'отиде някой ден': 341597,\n",
       " 'разкрива тъмната': 412266,\n",
       " 'следващият защото': 462416,\n",
       " 'пишат журналистите от': 355427,\n",
       " '2044': 5336,\n",
       " 'се твърди че': 447845,\n",
       " 'минути пред стив': 245006,\n",
       " 'спанак да се': 469150,\n",
       " 'лично петричката': 230071,\n",
       " 'професор фол експедицията': 402925,\n",
       " 'мнения луната': 247379,\n",
       " 'австралия китай основана': 19857,\n",
       " 'славата на владимир': 460875,\n",
       " 'след управлението': 462082,\n",
       " 'на земи от': 264275,\n",
       " 'на чудотворната икона': 277765,\n",
       " 'изпиете': 174106,\n",
       " 'отпред на': 344163,\n",
       " 'принципи или': 394559,\n",
       " 'по старому': 360742,\n",
       " 'малкото несъвършенство': 235301,\n",
       " 'че на всяка': 544951,\n",
       " 'дългогодишният ни': 128203,\n",
       " 'била отвлечена похитителите': 38977,\n",
       " ...}"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf.vocabulary_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "X = tfidf.transform(clean['Content Title'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LinearSVC(C=1.0, class_weight=None, dual=True, fit_intercept=True,\n",
       "     intercept_scaling=1, loss='squared_hinge', max_iter=1000,\n",
       "     multi_class='ovr', penalty='l2', random_state=None, tol=0.0001,\n",
       "     verbose=0)"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf = LinearSVC()\n",
    "clf.fit(X, clean['fake_news_score'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.77304964539007093"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_X = tfidf.transform(test['Content Title'])\n",
    "clf.score(test_X, test['fake_news_score'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[1 3]\n",
      "2\n"
     ]
    }
   ],
   "source": [
    "print(clf.classes_)\n",
    "print(len(clf.classes_))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([551810])"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.sum(clf.coef_ == 0, axis = 1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "561651"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(clf.coef_[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "coefficients: (1, 561651)\n"
     ]
    }
   ],
   "source": [
    "print('coefficients:', clf.coef_.shape)\n",
    "# print('length of vocabulary:', len(keys))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "ngram_map = {idx: ngram for ngram, idx in tfidf.vocabulary_.items()}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: '00',\n",
       " 1: '00 13забравеният',\n",
       " 2: '00 13забравеният завет',\n",
       " 3: '00 23ванга',\n",
       " 4: '00 23ванга знаела',\n",
       " 5: '00 40',\n",
       " 6: '00 40 02',\n",
       " 7: '00 45',\n",
       " 8: '00 45 06',\n",
       " 9: '00 46',\n",
       " 10: '00 46 02',\n",
       " 11: '00 46 07',\n",
       " 12: '00 54',\n",
       " 13: '00 54 02',\n",
       " 14: '00 57',\n",
       " 15: '00 57 06',\n",
       " 16: '00 голямата',\n",
       " 17: '00 голямата зала',\n",
       " 18: '00 д0',\n",
       " 19: '00 д0 17',\n",
       " 20: '00 до',\n",
       " 21: '00 до 17',\n",
       " 22: '00 имаме',\n",
       " 23: '00 имаме доказателство',\n",
       " 24: '00 особено',\n",
       " 25: '00 особено при',\n",
       " 26: '00 синята',\n",
       " 27: '00 синята зала',\n",
       " 28: '00 часа',\n",
       " 29: '00 часа зала',\n",
       " 30: '00 часа ние',\n",
       " 31: '00 часа синята',\n",
       " 32: '00 часа той',\n",
       " 33: '000',\n",
       " 34: '000 000',\n",
       " 35: '000 000 войници',\n",
       " 36: '000 000 които',\n",
       " 37: '000 000 съветски',\n",
       " 38: '000 активни',\n",
       " 39: '000 активни синдикалисти',\n",
       " 40: '000 албански',\n",
       " 41: '000 албански мъже',\n",
       " 42: '000 американски',\n",
       " 43: '000 американски войници',\n",
       " 44: '000 американских',\n",
       " 45: '000 американских военных',\n",
       " 46: '000 включително',\n",
       " 47: '000 включително тихия',\n",
       " 48: '000 войници',\n",
       " 49: '000 войници щатите',\n",
       " 50: '000 гласа',\n",
       " 51: '000 гледания',\n",
       " 52: '000 гледания като',\n",
       " 53: '000 години',\n",
       " 54: '000 години та',\n",
       " 55: '000 годишно',\n",
       " 56: '000 делови',\n",
       " 57: '000 делови обяда',\n",
       " 58: '000 до',\n",
       " 59: '000 до милиона',\n",
       " 60: '000 долара',\n",
       " 61: '000 долара георги',\n",
       " 62: '000 долара за',\n",
       " 63: '000 долара на',\n",
       " 64: '000 долара най',\n",
       " 65: '000 души',\n",
       " 66: '000 души от',\n",
       " 67: '000 евро',\n",
       " 68: '000 евро дьо',\n",
       " 69: '000 евро за',\n",
       " 70: '000 евро заобикалят',\n",
       " 71: '000 евро на',\n",
       " 72: '000 емигранти',\n",
       " 73: '000 емигранти гърци',\n",
       " 74: '000 жертви',\n",
       " 75: '000 жертви има',\n",
       " 76: '000 за',\n",
       " 77: '000 за маса',\n",
       " 78: '000 заразени',\n",
       " 79: '000 заразени 24',\n",
       " 80: '000 зрители',\n",
       " 81: '000 избити',\n",
       " 82: '000 избити богомили',\n",
       " 83: '000 имена',\n",
       " 84: '000 имена за',\n",
       " 85: '000 инсекта',\n",
       " 86: '000 инсекта открива',\n",
       " 87: '000 канадски',\n",
       " 88: '000 канадски долара',\n",
       " 89: '000 кв',\n",
       " 90: '000 кв км',\n",
       " 91: '000 които',\n",
       " 92: '000 които принц',\n",
       " 93: '000 които субсидира',\n",
       " 94: '000 контакта',\n",
       " 95: '000 контакта тъй',\n",
       " 96: '000 купувачите',\n",
       " 97: '000 купувачите на',\n",
       " 98: '000 лв',\n",
       " 99: '000 лв без',\n",
       " 100: '000 лв за',\n",
       " 101: '000 лв излязла',\n",
       " 102: '000 лева',\n",
       " 103: '000 лева за',\n",
       " 104: '000 лева от',\n",
       " 105: '000 лева само',\n",
       " 106: '000 лева сме',\n",
       " 107: '000 лева сумата',\n",
       " 108: '000 лева ще',\n",
       " 109: '000 леи',\n",
       " 110: '000 леи 47',\n",
       " 111: '000 ликвидатори',\n",
       " 112: '000 ликвидатори участвали',\n",
       " 113: '000 марки',\n",
       " 114: '000 метра',\n",
       " 115: '000 на',\n",
       " 116: '000 на риалити',\n",
       " 117: '000 на риалитилили',\n",
       " 118: '000 наемници',\n",
       " 119: '000 наемници остават',\n",
       " 120: '000 насекоми',\n",
       " 121: '000 насекоми съхранява',\n",
       " 122: '000 население',\n",
       " 123: '000 население град',\n",
       " 124: '000 но',\n",
       " 125: '000 персонални',\n",
       " 126: '000 персонални компютри',\n",
       " 127: '000 пленени',\n",
       " 128: '000 пленени германски',\n",
       " 129: '000 политически',\n",
       " 130: '000 политически затворници',\n",
       " 131: '000 пр',\n",
       " 132: '000 пр хр',\n",
       " 133: '000 при',\n",
       " 134: '000 пъти',\n",
       " 135: '000 пъти като',\n",
       " 136: '000 работни',\n",
       " 137: '000 работни места',\n",
       " 138: '000 румънци',\n",
       " 139: '000 румънци въстанаха',\n",
       " 140: '000 руски',\n",
       " 141: '000 руски войници',\n",
       " 142: '000 са',\n",
       " 143: '000 са неработещите',\n",
       " 144: '000 са разстреляни',\n",
       " 145: '000 станаха',\n",
       " 146: '000 станаха жалбите',\n",
       " 147: '000 съветски',\n",
       " 148: '000 съветски граждани',\n",
       " 149: '000 съдят',\n",
       " 150: '000 съдят джянг',\n",
       " 151: '000 християни',\n",
       " 152: '000 християни за',\n",
       " 153: '003',\n",
       " 154: '003 705',\n",
       " 155: '003 705 изграждане',\n",
       " 156: '003 705предлагаме',\n",
       " 157: '003 705предлагаме ви',\n",
       " 158: '003 705предлагаме юридическо',\n",
       " 159: '003 705профин',\n",
       " 160: '003 705профин счетоводно',\n",
       " 161: '01',\n",
       " 162: '01 01',\n",
       " 163: '01 01 2017',\n",
       " 164: '01 02',\n",
       " 165: '01 06',\n",
       " 166: '01 06 02',\n",
       " 167: '01 09',\n",
       " 168: '01 09 януари',\n",
       " 169: '01 10',\n",
       " 170: '01 10 02',\n",
       " 171: '01 12',\n",
       " 172: '01 13',\n",
       " 173: '01 13 02',\n",
       " 174: '01 1649',\n",
       " 175: '01 1649 година',\n",
       " 176: '01 20',\n",
       " 177: '01 20 02',\n",
       " 178: '01 2017',\n",
       " 179: '01 2017 07',\n",
       " 180: '01 2017 08',\n",
       " 181: '01 2017 10',\n",
       " 182: '01 2017 11',\n",
       " 183: '01 2017 19',\n",
       " 184: '01 2017 новини',\n",
       " 185: '01 2017на',\n",
       " 186: '01 2017на сцената',\n",
       " 187: '01 23вълшебната',\n",
       " 188: '01 23вълшебната рецепта',\n",
       " 189: '01 28',\n",
       " 190: '01 28 cesurveguzel',\n",
       " 191: '01 30',\n",
       " 192: '01 30 13',\n",
       " 193: '01 31',\n",
       " 194: '01 31 13',\n",
       " 195: '01 31 14',\n",
       " 196: '01 40ако',\n",
       " 197: '01 40ако ти',\n",
       " 198: '01 51',\n",
       " 199: '01 51 07',\n",
       " 200: '01 56съветите',\n",
       " 201: '01 56съветите на',\n",
       " 202: '01 6924',\n",
       " 203: '01 декември',\n",
       " 204: '01 декември 2016',\n",
       " 205: '01 февруари',\n",
       " 206: '01 февруари 2017',\n",
       " 207: '01 февруаритрифоновден',\n",
       " 208: '01 февруаритрифоновден църквата',\n",
       " 209: '02',\n",
       " 210: '02 01',\n",
       " 211: '02 01 2017',\n",
       " 212: '02 02',\n",
       " 213: '02 02 2017',\n",
       " 214: '02 07',\n",
       " 215: '02 18',\n",
       " 216: '02 19',\n",
       " 217: '02 19 30',\n",
       " 218: '02 20',\n",
       " 219: '02 2007',\n",
       " 220: '02 2007 американският',\n",
       " 221: '02 2016',\n",
       " 222: '02 2017',\n",
       " 223: '02 2017 00',\n",
       " 224: '02 27',\n",
       " 225: '02 27 nasa',\n",
       " 226: '02 37един',\n",
       " 227: '02 37един от',\n",
       " 228: '02 41',\n",
       " 229: '02 41 30',\n",
       " 230: '02 xi',\n",
       " 231: '02 xi 2003',\n",
       " 232: '02 февруари',\n",
       " 233: '02 февруари 2017',\n",
       " 234: '029',\n",
       " 235: '029 метра',\n",
       " 236: '029 метра при',\n",
       " 237: '03',\n",
       " 238: '03 02',\n",
       " 239: '03 02 2007',\n",
       " 240: '03 07',\n",
       " 241: '03 07 2016',\n",
       " 242: '03 12',\n",
       " 243: '03 1953',\n",
       " 244: '03 1953 английския',\n",
       " 245: '03 2017',\n",
       " 246: '03 2017 01',\n",
       " 247: '03 2017 превод',\n",
       " 248: '03 2017г',\n",
       " 249: '04',\n",
       " 250: '04 03',\n",
       " 251: '04 09',\n",
       " 252: '04 17',\n",
       " 253: '04 17 грабо',\n",
       " 254: '04 17 до',\n",
       " 255: '04 1960',\n",
       " 256: '04 1960 атина',\n",
       " 257: '04 2010',\n",
       " 258: '04 2010 бяха',\n",
       " 259: '04 2010г',\n",
       " 260: '04 2010г за',\n",
       " 261: '04 2017',\n",
       " 262: '04 2017 01',\n",
       " 263: '04 2017г',\n",
       " 264: '04 бнр',\n",
       " 265: '04 бнр нас',\n",
       " 266: '04 секунди',\n",
       " 267: '05',\n",
       " 268: '05 02',\n",
       " 269: '05 1942',\n",
       " 270: '05 1942 прага',\n",
       " 271: '05 24',\n",
       " 272: '05 24 tainata',\n",
       " 273: '05 26',\n",
       " 274: '05 26 tainata',\n",
       " 275: '05 27',\n",
       " 276: '05 27 март',\n",
       " 277: '05 dariknews',\n",
       " 278: '05 dariknews нас',\n",
       " 279: '05 секунди',\n",
       " 280: '05други',\n",
       " 281: '05други справки',\n",
       " 282: '05други справки увеселителен',\n",
       " 283: '06',\n",
       " 284: '06 02',\n",
       " 285: '06 02 2017',\n",
       " 286: '06 02 февруари',\n",
       " 287: '06 07в',\n",
       " 288: '06 07в средата',\n",
       " 289: '06 dariknews',\n",
       " 290: '06 dariknews по',\n",
       " 291: '06 dnes',\n",
       " 292: '06 dnes bg',\n",
       " 293: '06 syedinenieto',\n",
       " 294: '06 syedinenieto na',\n",
       " 295: '06 бнр',\n",
       " 296: '06 бнр нас',\n",
       " 297: '06 февруари',\n",
       " 298: '06 февруари 2017',\n",
       " 299: '060',\n",
       " 300: '060 транснационални',\n",
       " 301: '060 транснационални корпорации',\n",
       " 302: '068',\n",
       " 303: '068 17',\n",
       " 304: '068 17 според',\n",
       " 305: '06в',\n",
       " 306: '06в японския',\n",
       " 307: '06в японския град',\n",
       " 308: '07',\n",
       " 309: '07 02',\n",
       " 310: '07 02 2017',\n",
       " 311: '07 07',\n",
       " 312: '07 07 nashestvieto',\n",
       " 313: '07 09',\n",
       " 314: '07 09 nashestvieto',\n",
       " 315: '07 17',\n",
       " 316: '07 17 levski',\n",
       " 317: '07 1992',\n",
       " 318: '07 1992 той',\n",
       " 319: '07 2016',\n",
       " 320: '07 2016 18',\n",
       " 321: '07 21',\n",
       " 322: '07 24',\n",
       " 323: '07 24 koga',\n",
       " 324: '07 49',\n",
       " 325: '07 49 катаклизми',\n",
       " 326: '07 54',\n",
       " 327: '07 54 кросс',\n",
       " 328: '07 56в',\n",
       " 329: '07 56в този',\n",
       " 330: '07 dariknews',\n",
       " 331: '07 dariknews нас',\n",
       " 332: '07 nashestvieto',\n",
       " 333: '07 nashestvieto na',\n",
       " 334: '07 novsport',\n",
       " 335: '07 novsport спорт',\n",
       " 336: '07 февруари',\n",
       " 337: '07 февруари 2017',\n",
       " 338: '07в',\n",
       " 339: '07в средата',\n",
       " 340: '07в средата на',\n",
       " 341: '07мравките',\n",
       " 342: '07мравките са',\n",
       " 343: '07мравките са атакувани',\n",
       " 344: '08',\n",
       " 345: '08 00',\n",
       " 346: '08 01',\n",
       " 347: '08 01 2017',\n",
       " 348: '08 02',\n",
       " 349: '08 04',\n",
       " 350: '08 04 бнр',\n",
       " 351: '08 05',\n",
       " 352: '08 05 dariknews',\n",
       " 353: '08 06',\n",
       " 354: '08 06 dariknews',\n",
       " 355: '08 06 dnes',\n",
       " 356: '08 06 бнр',\n",
       " 357: '08 07',\n",
       " 358: '08 07 dariknews',\n",
       " 359: '08 07 novsport',\n",
       " 360: '08 08',\n",
       " 361: '08 08 бнр',\n",
       " 362: '08 11',\n",
       " 363: '08 11 bgonair',\n",
       " 364: '08 18този',\n",
       " 365: '08 18този скакалец',\n",
       " 366: '08 2013',\n",
       " 367: '08 2013 купих',\n",
       " 368: '08 2016',\n",
       " 369: '08 2016 00',\n",
       " 370: '08 36',\n",
       " 371: '08 36 29',\n",
       " 372: '08 бнр',\n",
       " 373: '08 бнр нас',\n",
       " 374: '08 дек',\n",
       " 375: '08 дек 2016',\n",
       " 376: '086',\n",
       " 377: '086 733',\n",
       " 378: '086 733 30',\n",
       " 379: '0878606891https',\n",
       " 380: '0878606891https www',\n",
       " 381: '0878606891https www facebook',\n",
       " 382: '0879',\n",
       " 383: '0879 003',\n",
       " 384: '0879 003 705',\n",
       " 385: '0879 003 705предлагаме',\n",
       " 386: '0879 003 705профин',\n",
       " 387: '0888',\n",
       " 388: '0888 339',\n",
       " 389: '0888 339 963интериорният',\n",
       " 390: '0888 369',\n",
       " 391: '0888 369 884',\n",
       " 392: '0888 369 884предлагаме',\n",
       " 393: '0888 369 884профин',\n",
       " 394: '09',\n",
       " 395: '09 00',\n",
       " 396: '09 01',\n",
       " 397: '09 01 2017',\n",
       " 398: '09 04',\n",
       " 399: '09 06',\n",
       " 400: '09 06 syedinenieto',\n",
       " 401: '09 11',\n",
       " 402: '09 11 2001',\n",
       " 403: '09 11 пентагонът',\n",
       " 404: '09 2010',\n",
       " 405: '09 2010 показателно',\n",
       " 406: '09 30',\n",
       " 407: '09 nashestvieto',\n",
       " 408: '09 nashestvieto na',\n",
       " 409: '09 април',\n",
       " 410: '09 април 2017',\n",
       " 411: '09 януари',\n",
       " 412: '09 януари 2017',\n",
       " 413: '10',\n",
       " 414: '10 00',\n",
       " 415: '10 00 д0',\n",
       " 416: '10 00 до',\n",
       " 417: '10 000',\n",
       " 418: '10 000 американски',\n",
       " 419: '10 000 делови',\n",
       " 420: '10 000 кв',\n",
       " 421: '10 000 съдят',\n",
       " 422: '10 02',\n",
       " 423: '10 02 февруари',\n",
       " 424: '10 03',\n",
       " 425: '10 03 2017',\n",
       " 426: '10 100',\n",
       " 427: '10 100 пъти',\n",
       " 428: '10 11',\n",
       " 429: '10 11 12',\n",
       " 430: '10 11 14',\n",
       " 431: '10 11 19',\n",
       " 432: '10 11 19ноември',\n",
       " 433: '10 11 25',\n",
       " 434: '10 11 януари',\n",
       " 435: '10 12',\n",
       " 436: '10 12 15',\n",
       " 437: '10 12 16',\n",
       " 438: '10 12 години',\n",
       " 439: '10 12 дни',\n",
       " 440: '10 12 часа',\n",
       " 441: '10 14',\n",
       " 442: '10 15',\n",
       " 443: '10 15 години',\n",
       " 444: '10 15 минyти',\n",
       " 445: '10 15 отчете',\n",
       " 446: '10 17',\n",
       " 447: '10 17 18',\n",
       " 448: '10 18',\n",
       " 449: '10 20',\n",
       " 450: '10 20 години',\n",
       " 451: '10 20 лв',\n",
       " 452: '10 200',\n",
       " 453: '10 200 избирателни',\n",
       " 454: '10 2010',\n",
       " 455: '10 2010 или',\n",
       " 456: '10 24',\n",
       " 457: '10 30',\n",
       " 458: '10 32',\n",
       " 459: '10 36в',\n",
       " 460: '10 36в рибата',\n",
       " 461: '10 cм',\n",
       " 462: '10 cм cлeд',\n",
       " 463: '10 cм вoдa',\n",
       " 464: '10 cтeблa',\n",
       " 465: '10 cтeблa yмopaтa',\n",
       " 466: '10 merrill',\n",
       " 467: '10 merrill lynch',\n",
       " 468: '10 ĸиceли',\n",
       " 469: '10 ĸиceли чepвeни',\n",
       " 470: '10 абсолютен',\n",
       " 471: '10 абсолютен недостижим',\n",
       " 472: '10 август',\n",
       " 473: '10 август най',\n",
       " 474: '10 американци',\n",
       " 475: '10 американци искат',\n",
       " 476: '10 април',\n",
       " 477: '10 април 1981',\n",
       " 478: '10 април 1997',\n",
       " 479: '10 април 2017',\n",
       " 480: '10 бaни',\n",
       " 481: '10 бaни boдaтa',\n",
       " 482: '10 вeчepи',\n",
       " 483: '10 вeчepи бaни',\n",
       " 484: '10 вoдa',\n",
       " 485: '10 вoдa πpaвят',\n",
       " 486: '10 гp',\n",
       " 487: '10 гp cинaпeнo',\n",
       " 488: '10 години',\n",
       " 489: '10 години ако',\n",
       " 490: '10 години бил',\n",
       " 491: '10 години ес',\n",
       " 492: '10 години затвор',\n",
       " 493: '10 години източвал',\n",
       " 494: '10 години намери',\n",
       " 495: '10 години не',\n",
       " 496: '10 години но',\n",
       " 497: '10 години от',\n",
       " 498: '10 години откакто',\n",
       " 499: '10 години по',\n",
       " 500: '10 години това',\n",
       " 501: '10 години тоест',\n",
       " 502: '10 години той',\n",
       " 503: '10 години ще',\n",
       " 504: '10 годишен',\n",
       " 505: '10 годишен когато',\n",
       " 506: '10 годишната',\n",
       " 507: '10 годишната история',\n",
       " 508: '10 два',\n",
       " 509: '10 два дни',\n",
       " 510: '10 ддс',\n",
       " 511: '10 ддс пада',\n",
       " 512: '10 дек',\n",
       " 513: '10 дек 2016',\n",
       " 514: '10 делови',\n",
       " 515: '10 делови срещи',\n",
       " 516: '10 дена',\n",
       " 517: '10 дни',\n",
       " 518: '10 дни peцeпти',\n",
       " 519: '10 дни останал',\n",
       " 520: '10 дни пo',\n",
       " 521: '10 дни след',\n",
       " 522: '10 дни чacт',\n",
       " 523: '10 до',\n",
       " 524: '10 до 50',\n",
       " 525: '10 долара',\n",
       " 526: '10 земята',\n",
       " 527: '10 земята жив',\n",
       " 528: '10 или',\n",
       " 529: '10 или почти',\n",
       " 530: '10 ина',\n",
       " 531: '10 ина но',\n",
       " 532: '10 ката',\n",
       " 533: '10 ката от',\n",
       " 534: '10 километра',\n",
       " 535: '10 километра западно',\n",
       " 536: '10 клас',\n",
       " 537: '10 клас на',\n",
       " 538: '10 колите',\n",
       " 539: '10 колите влизат',\n",
       " 540: '10 лагер',\n",
       " 541: '10 лагер за',\n",
       " 542: '10 лв',\n",
       " 543: '10 лв или',\n",
       " 544: '10 лв ценителите',\n",
       " 545: '10 лв ще',\n",
       " 546: '10 лева',\n",
       " 547: '10 лева за',\n",
       " 548: '10 лишним',\n",
       " 549: '10 лишним лет',\n",
       " 550: '10 любов',\n",
       " 551: '10 любов от',\n",
       " 552: '10 май',\n",
       " 553: '10 май на',\n",
       " 554: '10 март',\n",
       " 555: '10 март нинова',\n",
       " 556: '10 милиарда',\n",
       " 557: '10 милиона',\n",
       " 558: '10 милиона души',\n",
       " 559: '10 милиона членове',\n",
       " 560: '10 мин',\n",
       " 561: '10 мин cлeд',\n",
       " 562: '10 мин koгaтo',\n",
       " 563: '10 минута',\n",
       " 564: '10 минута три',\n",
       " 565: '10 минути',\n",
       " 566: '10 минути по',\n",
       " 567: '10 млн',\n",
       " 568: '10 мъдри',\n",
       " 569: '10 мъдри слова',\n",
       " 570: '10 на',\n",
       " 571: '10 на най',\n",
       " 572: '10 на сто',\n",
       " 573: '10 не',\n",
       " 574: '10 нейни',\n",
       " 575: '10 нейни мъдри',\n",
       " 576: '10 ноември',\n",
       " 577: '10 ноември 1989',\n",
       " 578: '10 ноември се',\n",
       " 579: '10 ноември спорта',\n",
       " 580: '10 нощи',\n",
       " 581: '10 нощи спал',\n",
       " 582: '10 около',\n",
       " 583: '10 около 12',\n",
       " 584: '10 от',\n",
       " 585: '10 от всеки',\n",
       " 586: '10 от вълната',\n",
       " 587: '10 от доходите',\n",
       " 588: '10 от списъка',\n",
       " 589: '10 пo',\n",
       " 590: '10 пo гoлeми',\n",
       " 591: '10 после',\n",
       " 592: '10 после цедките',\n",
       " 593: '10 причини',\n",
       " 594: '10 причини защо',\n",
       " 595: '10 пъти',\n",
       " 596: '10 пъти по',\n",
       " 597: '10 са',\n",
       " 598: '10 са версиите',\n",
       " 599: '10 са много',\n",
       " 600: '10 секунди',\n",
       " 601: '10 секунди за',\n",
       " 602: '10 септември',\n",
       " 603: '10 серий',\n",
       " 604: '10 серий до',\n",
       " 605: '10 страни',\n",
       " 606: '10 страни на',\n",
       " 607: '10 страница',\n",
       " 608: '10 страница 494',\n",
       " 609: '10 сутринта',\n",
       " 610: '10 сутринта шампанско',\n",
       " 611: '10 та',\n",
       " 612: '10 та симфония',\n",
       " 613: '10 та центурия',\n",
       " 614: '10 такива',\n",
       " 615: '10 такива концентрирани',\n",
       " 616: '10 те',\n",
       " 617: '10 те най',\n",
       " 618: '10 ти',\n",
       " 619: '10 то',\n",
       " 620: '10 то през',\n",
       " 621: '10 това',\n",
       " 622: '10 това къщата',\n",
       " 623: '10 убедителни',\n",
       " 624: '10 убедителни доказателства',\n",
       " 625: '10 франсиско',\n",
       " 626: '10 франсиско на',\n",
       " 627: '10 хиляди',\n",
       " 628: '10 хиляди концерта',\n",
       " 629: '10 ценни',\n",
       " 630: '10 ценни съвета',\n",
       " 631: '10 часа',\n",
       " 632: '10 часа дава',\n",
       " 633: '10 човека',\n",
       " 634: '10 човека редовно',\n",
       " 635: '10 ще',\n",
       " 636: '10 ще дойде',\n",
       " 637: '10 юли',\n",
       " 638: '10 юли 518',\n",
       " 639: '10 януари',\n",
       " 640: '10 януари 2016',\n",
       " 641: '100',\n",
       " 642: '100 000',\n",
       " 643: '100 000 души',\n",
       " 644: '100 000 евро',\n",
       " 645: '100 000 пленени',\n",
       " 646: '100 opъжeйнo',\n",
       " 647: '100 opъжeйнo мacлo',\n",
       " 648: '100 vote',\n",
       " 649: '100 албума',\n",
       " 650: '100 албума но',\n",
       " 651: '100 банки',\n",
       " 652: '100 банки пирамиди',\n",
       " 653: '100 бъбpeци',\n",
       " 654: '100 бъбpeци бoлни',\n",
       " 655: '100 български',\n",
       " 656: '100 въпреки',\n",
       " 657: '100 въпреки че',\n",
       " 658: '100 гp',\n",
       " 659: '100 гp мeд',\n",
       " 660: '100 години',\n",
       " 661: '100 години добре',\n",
       " 662: '100 години за',\n",
       " 663: '100 години на',\n",
       " 664: '100 години нашите',\n",
       " 665: '100 години от',\n",
       " 666: '100 години по',\n",
       " 667: '100 годишна',\n",
       " 668: '100 годишна война',\n",
       " 669: '100 годишнината',\n",
       " 670: '100 годишнината от',\n",
       " 671: '100 годишния',\n",
       " 672: '100 годишния богаташ',\n",
       " 673: '100 гр',\n",
       " 674: '100 гр белени',\n",
       " 675: '100 града',\n",
       " 676: '100 града на',\n",
       " 677: '100 грама',\n",
       " 678: '100 грама от',\n",
       " 679: '100 дни',\n",
       " 680: '100 дни на',\n",
       " 681: '100 долара',\n",
       " 682: '100 долара отпускат',\n",
       " 683: '100 изcyшeни',\n",
       " 684: '100 изcyшeни плoдчeтa',\n",
       " 685: '100 километра',\n",
       " 686: '100 километра обяснява',\n",
       " 687: '100 лева',\n",
       " 688: '100 лева по',\n",
       " 689: '100 лечебният',\n",
       " 690: '100 лечебният код',\n",
       " 691: '100 лили',\n",
       " 692: '100 лили обаче',\n",
       " 693: '100 мeд',\n",
       " 694: '100 мeд 100',\n",
       " 695: '100 милиона',\n",
       " 696: '100 милиона долара',\n",
       " 697: '100 мл',\n",
       " 698: '100 мл caмo',\n",
       " 699: '100 мл oлиo',\n",
       " 700: '100 мл oцeт',\n",
       " 701: '100 мл вoдa',\n",
       " 702: '100 мл винo',\n",
       " 703: '100 мл нo',\n",
       " 704: '100 мл чиcт',\n",
       " 705: '100 млн',\n",
       " 706: '100 млн на',\n",
       " 707: '100 млн от',\n",
       " 708: '100 млн раздал',\n",
       " 709: '100 млн са',\n",
       " 710: '100 млрд',\n",
       " 711: '100 млрд ако',\n",
       " 712: '100 нелепо',\n",
       " 713: '100 нелепо след',\n",
       " 714: '100 ние',\n",
       " 715: '100 ние сме',\n",
       " 716: '100 от',\n",
       " 717: '100 от възпитаниците',\n",
       " 718: '100 от магистралата',\n",
       " 719: '100 отречено',\n",
       " 720: '100 отречено по',\n",
       " 721: '100 пpяcнo',\n",
       " 722: '100 пpяcнo мacлo',\n",
       " 723: '100 плод',\n",
       " 724: '100 плод годжи',\n",
       " 725: '100 плодовете',\n",
       " 726: '100 плодовете на',\n",
       " 727: '100 представители',\n",
       " 728: '100 представители на',\n",
       " 729: '100 процента',\n",
       " 730: '100 процента това',\n",
       " 731: '100 процентов',\n",
       " 732: '100 процентов мажоритарен',\n",
       " 733: '100 процентова',\n",
       " 734: '100 процентова категоричност',\n",
       " 735: '100 пъти',\n",
       " 736: '100 пъти по',\n",
       " 737: '100 саа',\n",
       " 738: '100 саа възвърнала',\n",
       " 739: '100 свои',\n",
       " 740: '100 свои ларви',\n",
       " 741: '100 секунди',\n",
       " 742: '100 секунди акцентите',\n",
       " 743: '100 сигурно',\n",
       " 744: '100 сигурно бъдещето',\n",
       " 745: '100 състезаващи',\n",
       " 746: '100 състезаващи се',\n",
       " 747: '100 танцьори',\n",
       " 748: '100 танцьори няколкостотин',\n",
       " 749: '100 те',\n",
       " 750: '100 това',\n",
       " 751: '100 това нещо',\n",
       " 752: '100 тона',\n",
       " 753: '100 тона оборудване',\n",
       " 754: '100 успешни',\n",
       " 755: '100 успешни неуспешни',\n",
       " 756: '100 хиляди',\n",
       " 757: '100 хиляди от',\n",
       " 758: '100 хиляди християни',\n",
       " 759: '100 човека',\n",
       " 760: '100 човека покриха',\n",
       " 761: '1000',\n",
       " 762: '1000 акра',\n",
       " 763: '1000 акра земя',\n",
       " 764: '1000 американски',\n",
       " 765: '1000 американски войници',\n",
       " 766: '1000 бойните',\n",
       " 767: '1000 бойните кораби',\n",
       " 768: '1000 години',\n",
       " 769: '1000 години мир',\n",
       " 770: '1000 години се',\n",
       " 771: '1000 години така',\n",
       " 772: '1000 години чувала',\n",
       " 773: '1000 годишен',\n",
       " 774: '1000 годишен мир',\n",
       " 775: '1000 души',\n",
       " 776: '1000 жители',\n",
       " 777: '1000 жители което',\n",
       " 778: '1000 жители на',\n",
       " 779: '1000 най',\n",
       " 780: '1000 най могъщи',\n",
       " 781: '1000 пъти',\n",
       " 782: '1000 пъти можем',\n",
       " 783: '1000 случая',\n",
       " 784: '1000 случая на',\n",
       " 785: '1000 часа',\n",
       " 786: '1000 часа водното',\n",
       " 787: '10000',\n",
       " 788: '100003288970327',\n",
       " 789: '100003288970327 amp',\n",
       " 790: '100003288970327 amp type',\n",
       " 791: '10003',\n",
       " 792: '1004',\n",
       " 793: '1004 47',\n",
       " 794: '1004 47 неразгаданите',\n",
       " 795: '100гр',\n",
       " 796: '100гр тиквени',\n",
       " 797: '100гр тиквени семки',\n",
       " 798: '101',\n",
       " 799: '101 вляво',\n",
       " 800: '101 вляво от',\n",
       " 801: '101 години',\n",
       " 802: '101 години на',\n",
       " 803: '101 години си',\n",
       " 804: '101 години той',\n",
       " 805: '101 години че',\n",
       " 806: '101 годишна',\n",
       " 807: '101 годишна възраст',\n",
       " 808: '101 за',\n",
       " 809: '101 за мишките',\n",
       " 810: '101 ндк',\n",
       " 811: '101 ндк ще',\n",
       " 812: '101 отбивки',\n",
       " 813: '101 отбивки идеи',\n",
       " 814: '1014',\n",
       " 815: '1014 година',\n",
       " 816: '1014 година ние',\n",
       " 817: '1015',\n",
       " 818: '1015 узите',\n",
       " 819: '1015 узите нанасят',\n",
       " 820: '1019',\n",
       " 821: '1019 46',\n",
       " 822: '1019 46 японският',\n",
       " 823: '102',\n",
       " 824: '102 години',\n",
       " 825: '102 году',\n",
       " 826: '102 году своей',\n",
       " 827: '102 малкият',\n",
       " 828: '102 малкият принц',\n",
       " 829: '1022',\n",
       " 830: '1022 45',\n",
       " 831: '1022 45 яж',\n",
       " 832: '103',\n",
       " 833: '103 закона',\n",
       " 834: '103 закона римския',\n",
       " 835: '103 издадено',\n",
       " 836: '103 издадено от',\n",
       " 837: '103 което',\n",
       " 838: '103 което създава',\n",
       " 839: '103 получих',\n",
       " 840: '103 получих няколко',\n",
       " 841: '103 прочетох',\n",
       " 842: '103 прочетох веднага',\n",
       " 843: '103 римскио',\n",
       " 844: '103 римскио статус',\n",
       " 845: '103 се',\n",
       " 846: '103 се появи',\n",
       " 847: '103 случайност',\n",
       " 848: '103 случайност не',\n",
       " 849: '103 страни',\n",
       " 850: '103 страни създавайки',\n",
       " 851: '103 страница',\n",
       " 852: '103 страница на',\n",
       " 853: '103 тези',\n",
       " 854: '103 тези цифри',\n",
       " 855: '1030',\n",
       " 856: '1030 44',\n",
       " 857: '1030 44 не',\n",
       " 858: '1032',\n",
       " 859: '1032 43',\n",
       " 860: '1032 43 бягството',\n",
       " 861: '1037',\n",
       " 862: '1037 42',\n",
       " 863: '1037 42 soy',\n",
       " 864: '1039',\n",
       " 865: '1039 41',\n",
       " 866: '1039 41 илън',\n",
       " 867: '1039 сл',\n",
       " 868: '1039 сл хр',\n",
       " 869: '104',\n",
       " 870: '104 лабиринтът',\n",
       " 871: '104 лабиринтът от',\n",
       " 872: '105',\n",
       " 873: '105 аз',\n",
       " 874: '105 аз още',\n",
       " 875: '1051',\n",
       " 876: '1051 40',\n",
       " 877: '1051 40 владетелят',\n",
       " 878: '1055',\n",
       " 879: '1055 39',\n",
       " 880: '1055 39 крадецът',\n",
       " 881: '106',\n",
       " 882: '106 брит',\n",
       " 883: '106 брит мари',\n",
       " 884: '106 години',\n",
       " 885: '106 години от',\n",
       " 886: '106 годишнина',\n",
       " 887: '106 годишнина от',\n",
       " 888: '107',\n",
       " 889: '107 на',\n",
       " 890: '107 на изток',\n",
       " 891: '107 стаи',\n",
       " 892: '107 стаи щата',\n",
       " 893: '108',\n",
       " 894: '108 петдесет',\n",
       " 895: '108 петдесет велики',\n",
       " 896: '109',\n",
       " 897: '109 винаги',\n",
       " 898: '109 винаги има',\n",
       " 899: '109 от',\n",
       " 900: '109 от общо',\n",
       " 901: '10m6sа',\n",
       " 902: '10m6sа после',\n",
       " 903: '10m6sа после климатолози',\n",
       " 904: '11',\n",
       " 905: '11 00',\n",
       " 906: '11 00 имаме',\n",
       " 907: '11 01',\n",
       " 908: '11 04',\n",
       " 909: '11 04 17',\n",
       " 910: '11 09',\n",
       " 911: '11 11',\n",
       " 912: '11 11 божи',\n",
       " 913: '11 12',\n",
       " 914: '11 12 13',\n",
       " 915: '11 13',\n",
       " 916: '11 14',\n",
       " 917: '11 14 164932',\n",
       " 918: '11 14 23',\n",
       " 919: '11 19',\n",
       " 920: '11 19 ноември',\n",
       " 921: '11 19ноември',\n",
       " 922: '11 19ноември 18',\n",
       " 923: '11 20',\n",
       " 924: '11 2001',\n",
       " 925: '11 2001 за',\n",
       " 926: '11 2001 мисля',\n",
       " 927: '11 2016',\n",
       " 928: '11 2016 23',\n",
       " 929: '11 2016 свободно',\n",
       " 930: '11 25',\n",
       " 931: '11 25 26',\n",
       " 932: '11 33при',\n",
       " 933: '11 33при нас',\n",
       " 934: '11 bgonair',\n",
       " 935: '11 bgonair bg',\n",
       " 936: '11 wellington',\n",
       " 937: '11 wellington management',\n",
       " 938: '11 август',\n",
       " 939: '11 август 1996',\n",
       " 940: '11 август 1999',\n",
       " 941: '11 април',\n",
       " 942: '11 божи',\n",
       " 943: '11 божи пророк',\n",
       " 944: '11 години',\n",
       " 945: '11 години от',\n",
       " 946: '11 години по',\n",
       " 947: '11 години той',\n",
       " 948: '11 годишен',\n",
       " 949: '11 годишен стенописите',\n",
       " 950: '11 декември',\n",
       " 951: '11 декември 1936г',\n",
       " 952: '11 дневникът',\n",
       " 953: '11 дневникът на',\n",
       " 954: '11 дни',\n",
       " 955: '11 етажна',\n",
       " 956: '11 етажна футуристична',\n",
       " 957: '11 за',\n",
       " 958: '11 за да',\n",
       " 959: '11 квадратных',\n",
       " 960: '11 квадратных километров',\n",
       " 961: '11 края',\n",
       " 962: '11 края на',\n",
       " 963: '11 кулите',\n",
       " 964: '11 куршума',\n",
       " 965: '11 куршума във',\n",
       " 966: '11 милиона',\n",
       " 967: '11 милиона негативи',\n",
       " 968: '11 миллионов',\n",
       " 969: '11 миллионов армян',\n",
       " 970: '11 минути',\n",
       " 971: '11 млрд',\n",
       " 972: '11 млрд долара',\n",
       " 973: '11 не',\n",
       " 974: '11 не се',\n",
       " 975: '11 ноември',\n",
       " 976: '11 от',\n",
       " 977: '11 от думите',\n",
       " 978: '11 пентагонът',\n",
       " 979: '11 пентагонът планирал',\n",
       " 980: '11 през',\n",
       " 981: '11 през април',\n",
       " 982: '11 септември',\n",
       " 983: '11 септември 2001',\n",
       " 984: '11 септември авторката',\n",
       " 985: '11 септември настоящите',\n",
       " 986: '11 септември появата',\n",
       " 987: '11 септември раждането',\n",
       " 988: '11 септември сащ',\n",
       " 989: '11 сърби',\n",
       " 990: '11 сърби 086',\n",
       " 991: '11 ти',\n",
       " 992: '11 ти клас',\n",
       " 993: '11 ти септември',\n",
       " 994: '11 февраля',\n",
       " 995: '11 февраля традиционные',\n",
       " 996: '11 февруари',\n",
       " 997: '11 февруари мога',\n",
       " 998: '11 часа',\n",
       " 999: '11 часът',\n",
       " ...}"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ngram_map"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "coeff = clf.coef_[0] # Last 3 features are from Features Union\n",
    "\n",
    "idx = np.argsort(coeff)\n",
    "\n",
    "n = 50\n",
    "bottom_indecies = idx[:n]\n",
    "top_indecies = idx[-n:]\n",
    "\n",
    "bottom_ = [ngram_map[k] + \" \" + str(round(coeff[k],2)) for k in bottom_indecies]\n",
    "top_ = [ngram_map[k] + \" \" + str(round(coeff[k],2)) for k in top_indecies]\n",
    "#     print(cls)\n",
    "#     print(top_[-5:][::-1])\n",
    "#     print(bottom_[:5])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['българия света 1.68',\n",
       " 'забавление 1.62',\n",
       " 'slava 1.54',\n",
       " 'варна 1.22',\n",
       " 'net 1.16',\n",
       " 'актуално 0.99',\n",
       " 'историческа 0.96',\n",
       " 'ванга людмила живкова 0.92',\n",
       " 'нюз 0.89',\n",
       " 'на комунизма 0.85',\n",
       " 'комунизма 0.83',\n",
       " 'свързана 0.8',\n",
       " 'ванга 0.77',\n",
       " 'корени 0.76',\n",
       " 'www 0.75',\n",
       " 'ето 0.75',\n",
       " 'пророчицата която 0.74',\n",
       " 'ванга людмила 0.72',\n",
       " 'pan bg 0.72',\n",
       " '2017 година 0.71',\n",
       " 'история на 0.71',\n",
       " 'александър дугин 0.7',\n",
       " 'pan 0.7',\n",
       " 'не управлява 0.68',\n",
       " 'дата 0.68',\n",
       " 'казанлък 0.68',\n",
       " 'топпреса 0.67',\n",
       " 'бг 0.67',\n",
       " 'мистерията 0.67',\n",
       " 'на българия 0.66',\n",
       " 'българин 0.65',\n",
       " 'тръмп вече 0.65',\n",
       " 'елена поптодорова 0.64',\n",
       " 'поптодорова 0.64',\n",
       " 'алармират 0.64',\n",
       " 'мъдра 0.63',\n",
       " 'загора 0.63',\n",
       " 'на ванга 0.62',\n",
       " 'постъпка 0.62',\n",
       " 'се завърна 0.62',\n",
       " 'завърна 0.62',\n",
       " 'новините от 0.61',\n",
       " 'нова загора 0.61',\n",
       " 'секунди за 0.61',\n",
       " 'проклятие 0.61',\n",
       " 'щерка на 0.6',\n",
       " 'кошлуков 0.6',\n",
       " 'рая 0.6',\n",
       " 'загадъчна история 0.6',\n",
       " 'давид 0.59']"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "top_[::-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['блиц -5.39',\n",
       " 'труд -2.6',\n",
       " 'petel bg -1.98',\n",
       " 'petel -1.92',\n",
       " 'развлечения -1.78',\n",
       " 'свободно време -1.63',\n",
       " 'bg новини -1.47',\n",
       " 'свят -1.46',\n",
       " 'пик -1.46',\n",
       " 'верига -1.23',\n",
       " 'sofia -1.22',\n",
       " 'specto -1.18',\n",
       " 'тръмп -1.16',\n",
       " 'мнения -1.14',\n",
       " 'от света -1.14',\n",
       " 'новини -1.12',\n",
       " 'политическа -1.06',\n",
       " 'пик ретро -1.04',\n",
       " 'симеонов -1.02',\n",
       " 'ай -1.01',\n",
       " 'фокус -0.99',\n",
       " 'тайни -0.97',\n",
       " 'media -0.97',\n",
       " 'фейсбук -0.97',\n",
       " 'демокрация -0.96',\n",
       " 'се за -0.95',\n",
       " 'плашат -0.94',\n",
       " 'да -0.94',\n",
       " 'почина -0.93',\n",
       " 'людмила -0.93',\n",
       " 'предсказанията за бъдещето -0.89',\n",
       " 'на апи -0.89',\n",
       " 'одежди -0.89',\n",
       " 'bg -0.89',\n",
       " '107 -0.89',\n",
       " 'снимки -0.89',\n",
       " 'уникална -0.88',\n",
       " 'бастет -0.88',\n",
       " 'съвети -0.87',\n",
       " 'ноември -0.86',\n",
       " 'на седмицата -0.85',\n",
       " 'април 2017 -0.85',\n",
       " 'см -0.84',\n",
       " 'апи -0.83',\n",
       " 'кой управлява -0.83',\n",
       " 'спрях да -0.83',\n",
       " 'статуквото -0.82',\n",
       " 'иво -0.82',\n",
       " 'спрях -0.81',\n",
       " '168 часа -0.81']"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bottom_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}