Microsoft.Extensions.Caching.Redis selecciona una base de datos diferente a db0

Microsoft.Extensions.Caching.Redis está usando Stackexchange.Redis para conectarse a Redis.

La Configuration La cadena está documentada en StackExchange.Redis. Dicho esto, deberías poder hacer:

services.AddDistributedRedisCache(option =>
{
    option.Configuration = "127.0.0.1;defaultDatabase=4";
    option.InstanceName = "master";
});