Debes haber usado el instalador .msi. Registra automáticamente un servicio de Windows que se inicia instantáneamente después de la instalación (al menos en mi máquina win 10).
Este servicio utiliza la configuración predeterminada y se vincula al puerto 6379. Cuando inicia redis-server desde la línea de comandos, si no ha especificado un puerto diferente a través de un archivo de configuración, recupera la configuración predeterminada nuevamente e intenta vincularse al puerto. 6379 que falla.
Su cli funciona porque se conecta al servicio redis que ya está escuchando en 6379. Su comando de apagado detiene el servicio y desde allí todo funciona como se esperaba. Misterio resuelto. Caso cerrado.
