Не удается загрузить куки из файла

Question

Есть следующий код:

private static readonly HttpClientHandler handler = new HttpClientHandler
{
    CookieContainer = new CookieContainer(),
    UseCookies = true
};
private static readonly HttpClient httpClient = new HttpClient(handler);
public Class1()
{
    httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.0.1308.1016 Safari/537.36");
httpClient.DefaultRequestHeaders.TryAddWithoutValidation("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
httpClient.DefaultRequestHeaders.TryAddWithoutValidation("Accept-Encoding", "gzip, deflate");
httpClient.DefaultRequestHeaders.TryAddWithoutValidation("Accept-Language", "ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4");

}

Сохранение кук в виде json:

string path = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);
string filename = Path.Combine(path, "test/cookies.bin");
if (File.Exists(filename)) File.Delete(filename);
var cookies = handler.CookieContainer.GetCookies(new Uri("https://site.ru/"));
using var fs = new FileStream(filename, FileMode.OpenOrCreate);
await JsonSerializer.SerializeAsync(fs, cookies);

Загрузка кук:

string path = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);
string filename = Path.Combine(path, "test/cookies.bin");
using var fs = new FileStream(filename, FileMode.Open);
var cookies = await JsonSerializer.DeserializeAsync<List<Cookie>>(fs);
foreach (var cookie in cookies)
{
    handler.CookieContainer.Add(cookie);
}

Куки в файле:

[{"Comment":"","CommentUri":null,"HttpOnly":true,"Discard":false,"Domain":"site.ru","Expired":false,"Expires":"0001-01-01T00:00:00","Name":"__RequestVerificationToken","Path":"/","Port":"","Secure":true,"TimeStamp":"2020-10-09T13:33:07.1633063+03:00","Value":"D4cK7wXeq6KThXJG0uZJ8gxUZQ_jGr1pNUwrCuJEhlKVeQHiLQzbvdkZXxmcWT8oYRt4ipPUes4D0dMTxbgY_2yZnJUZxM03F7n0AVtFShU1","Version":0},{"Comment":"","CommentUri":null,"HttpOnly":true,"Discard":false,"Domain":"site.ru","Expired":false,"Expires":"2020-10-11T13:33:08+03:00","Name":".ASPXAUTH","Path":"/","Port":"","Secure":false,"TimeStamp":"2020-10-09T13:33:07.6753356+03:00","Value":"824040565E5BCCD7A57ECDFC3BF4A3D5BEFF477161636356924B0340E53F1527470E6513BE272EDB9392A05C652542ED27F5A001D92DFDE5F395BD1D75708F60CCF2DE2D40ACDF1B8D82743D8CED67713FE85653BB04716B534FA3CEAD261FC9BED4BA50A21C9D2C989FDB2EF1D9ADE4","Version":0}]

GET запрос через браузер:

GET запрос через программу:

Дело в том, что после загрузки кук я не получаю ту страницу, которую должен, а получаю страницу авторизации. Судя по всему, проблема в том, что у меня как бы "не загружается" кука .ASPXAUTH.. и на изображение из браузера видно другие куки (_ym_uid и другие..), я не могу понять, они обязательны или нет?

Ранее с куками дел не имел, подскажите, пожалуйста, в чем дело?

UPD:

private static readonly HttpClientHandler handler = new HttpClientHandler
{
    AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate,
    AllowAutoRedirect = true
};
private static readonly HttpClient httpClient = new HttpClient(handler);
public HttpManager()
{
    httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.0.1308.1016 Safari/537.36");
    httpClient.DefaultRequestHeaders.AcceptEncoding.ParseAdd("gzip, deflate, br");
}

Получаю куки теперь так:

var cookies = handler.CookieContainer.GetAllCookies();

Загружаю так:

List<Cookie> cookies = await JsonSerializer.DeserializeAsync<List<Cookie>>(fs);
foreach (var cookie in cookies)
{
    // не загружать, если кука заэкспайрилась
    if (!cookie.Expired && (cookie.Expires == DateTime.MinValue || cookie.Expires > DateTime.Now))
        handler.CookieContainer.Add(cookie);
}

Этот класс позаимствовал по ссылке которую написали в комментариях:

public static class CookieContainerExtensions
{
    // Забирает все куки из контейнера
    public static CookieCollection GetAllCookies(this CookieContainer container)
    {
        CookieCollection allCookies = new CookieCollection();
        IDictionary domains = (IDictionary)container.GetType()
            .GetRuntimeFields()
            .FirstOrDefault(x => x.Name == "m_domainTable")
            .GetValue(container);
    foreach (object field in domains.Values)
    {
        IDictionary values = (IDictionary)field.GetType()
            .GetRuntimeFields()
            .FirstOrDefault(x => x.Name == "m_list")
            .GetValue(field);

        foreach (CookieCollection cookies in values.Values)
        {
            allCookies.Add(cookies);
        }
    }
    return allCookies;
}

}

К сожалению, на деле получаю то, что получал ранее. Видать, я что-то упускаю из виду..

Answer 1

Для правильной загрузки кук (конкретно для моего сайта), нужно было сохранять лишь одну куку — .ASPXAUTH, а потом её подгружать.

Итоговый код получился такой:

private static readonly HttpClientHandler handler = new HttpClientHandler
{
    CookieContainer = new CookieContainer(),
    UseCookies = true
};
private static readonly Uri baseUri = new Uri("https://e.site.ru");
private static readonly HttpClient httpClient = new HttpClient(handler) { BaseAddress = baseUri };
public static async void SaveCookies()
{
    string path = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);
    string filename = Path.Combine(path, "test/cookies.bin");
var cookies = handler.CookieContainer.GetCookies(baseUri);

using var sw = new StreamWriter(filename, false);
// сохраняется лишь сам ключ, без имени
await sw.WriteAsync(cookies[1].Value);

}
public static async void LoadCookies()
{
    string path = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);
    string filename = Path.Combine(path, "test/cookies.bin");
using var sr = new StreamReader(filename);
var cookie_value = await sr.ReadToEndAsync();

handler.CookieContainer.Add(baseUri, new Cookie(".ASPXAUTH", cookie_value));

}