private void SetOptions(Request request) 方法有bug

[pengwen135]

private void SetOptions(Request request)中
_httpClient.DefaultRequestHeaders 不进行clear 会导致头信息一直被添加

[jxnkwlp]

DotnetSpiderLite/src/DotnetSpiderLite.Node/Downloader/DefaultHttpClientDownloader.cs

Line 106 in 352a256

if (_httpClient.DefaultRequestHeaders.Contains(item.Key))

DotnetSpiderLite/src/DotnetSpiderLite.Node/Downloader/DefaultHttpClientDownloader.cs

Line 107 in 352a256

_httpClient.DefaultRequestHeaders.Remove(item.Key);

此处是有处理的。

[pengwen135]

_httpClient.DefaultRequestHeaders.Accept.ParseAdd(request.Accept);
// _httpClient.DefaultRequestHeaders.AcceptEncoding.ParseAdd(request.AcceptEncoding);
_httpClient.DefaultRequestHeaders.AcceptLanguage.ParseAdd(request.AcceptLanguage);
这两句没有处理