Skip to content
This repository has been archived by the owner on Jan 27, 2024. It is now read-only.

Commit

Permalink
Updated the README with info about the FlareSolverr dependency.
Browse files Browse the repository at this point in the history
  • Loading branch information
filo891 authored Oct 29, 2023
1 parent 3699624 commit 4c3ad40
Show file tree
Hide file tree
Showing 2 changed files with 31 additions and 0 deletions.
29 changes: 29 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -20,6 +20,9 @@ kódů pomocí TensorFlow modelu z projektu
[ulozto-captcha-breaker](https://github.com/JanPalasek/ulozto-captcha-breaker)
(credits to Jan Palasek).

Stahovač je schopen automaticky obejít ochranu CloudFlare ochranu přd botmi

This comment has been minimized.

Copy link
@pkejval

pkejval Oct 29, 2023

Contributor

Typo "přd"

This comment has been minimized.

Copy link
@Vojtak42

Vojtak42 Oct 29, 2023

Contributor

před botmi

  • spíše "před boty"

This comment has been minimized.

Copy link
@filo891

filo891 Oct 29, 2023

Author Collaborator

Vidím, že Google Translate do Češtiny mi moc nevyšiel :). Díky za kommenty, hned to opravim.

pomocí projektu [FlareSolverr](https://github.com/FlareSolverr/FlareSolverr).

Narozdíl od originálního Vžum je tato verze napsaná v Pythonu, dá se provozovat
jednoduše i na Linuxu a zdrojový kód je veřejně dostupný, což umožňuje další
forky a rozšíření do budoucna. Například by mohla vzniknout "serverová" verze
Expand All @@ -34,6 +37,7 @@ s webovým rozhraním.
[ulozto-captcha-breaker](https://github.com/JanPalasek/ulozto-captcha-breaker) (thx Jan Palasek)
* Louská kódy pomocí natrénovaného TensorFlow modelu
* Download linky získává přes Tor, aby se vyhnul nové limitaci ze strany Uloz.to
* Linky chráněné před boty obchází pomocí [FlareSolverr](https://github.com/FlareSolverr/FlareSolverr)
* Umí opakovaně využít stejný stahovací link pro více částí
* Ulož.to nyní (podzim 2020) umožňuje získat jen dva stahovací linky za
minutu, ale stejný link je možné používat po dostahování původní části
Expand Down Expand Up @@ -67,6 +71,7 @@ instalace samotného ulozto-downloaderu potřeba zajistit ještě několik dalš
* Jeden z:
* **TensorFlow Lite** pro automatické louskání CAPTCHA kódů
* **Tkinter** když budete používat ruční opisování CAPTCHA kódů
* **FlareSolverr** pro automatické obcházaní CloudFlare bot protection

### Instalace TORu

Expand Down Expand Up @@ -136,6 +141,30 @@ Bohužel není na PyPI, takže je potřeba instalovat ručně. Často už je ins
ale pokud by náhodou nebyl, tak bývá v balíčku `python3-tk` (případně následujte
instrukce na [webu Tk](https://tkdocs.com/tutorial/install.html)).

### Instalace FlareSolverr

FlareSolverr nainstalujte podle návodu na https://github.com/FlareSolverr/FlareSolverr.

Doporučený způsob instalace je prostřednictvím Docker kontejneru na Linuxu. V tomto

This comment has been minimized.

Copy link
@pkejval

pkejval Oct 29, 2023

Contributor

Docker a v něm FlareSolverr fungují i na Windows. Není nutná zmíňka o Linuxu.

případě se ujistěte, že je kontejner spuštěn s parametrem `--network host`:

````
docker run -d \
--name=flaresolverr \
-p 8191:8191 \
-e LOG_LEVEL=info \
--restart unless-stopped \
--network host \
ghcr.io/flaresolverr/flaresolverr:latest
````

**Pozor:** FlareSolverr vypouští novou verzi pokaždé, když CloudFlare změní svůj bot
protection. Ujistěte se, že kontejner běží na nejnovější verzi FlareSolverr image.

Uložto Downloader očekává, že FlareSolverr service bude dostupný na
http://127.0.0.1:8191/v1. V případě, že service běží na jiné adrese,
zadejte ji pomocí argumentu `--cf-endpoint`.

### Instalace Ulož.to downloaderu

Teď už byste měli mít vše připraveno. Stačí jen instalovat samotný Ulož.to
Expand Down
2 changes: 2 additions & 0 deletions uldlib/torrunner.py
Original file line number Diff line number Diff line change
Expand Up @@ -60,6 +60,8 @@ def reporthook(blocknum, block_size, total_size):
else: # total size is unknown
self.log_func("Downloading GeoIP DB: read %d" % (readsofar))

# TODO: Add a feature to autodetect and update GeoIP DBs when never versions are available

This comment has been minimized.

Copy link
@Vojtak42

Vojtak42 Oct 29, 2023

Contributor

*whenever


if not os.path.exists(const.GEOIP_FILENAME):
self.log_func(f"Downloading Tor GeoIP DB from {const.TOR_GEOIP_DB_DOWNLOAD_URL}")
# download into temp file in order to detect incomplete downloads
Expand Down

0 comments on commit 4c3ad40

Please sign in to comment.