Si está utilizando el paquete PyPi django-celery-beat parece que instala la versión más reciente del paquete requerido celery en lugar de instalar una versión compatible (cuando publique esto, el 25 de mayo de 2021, sería v5.1.0 ), que parece tener problemas de compatibilidad con django-celery-beat versión 2.2.0 (el más reciente), así como el sistema operativo Windows.
Te sugiero que pruebes
pip uninstall celery
pip install celery==5.0.5
