De acuerdo con este problema de Github, podría ser posible lograr varias bases de datos mediante el uso de scripts bash que deberá pasar en su Dockerfile
EDITAR :
Para crear varias bases de datos, puede usar el siguiente script:
https://github.com/mrts/docker-postgresql-varias-bases de datos
o
https://github.com/MartinKaburu/docker-postgresql-multiple-databases
Lo que sugiere que debe clonar uno de los repositorios git anteriores y montarlo como un volumen en:/docker-entrypoint-initdb.d, luego podrá pasar múltiples nombres de bases de datos usando:POSTGRES_MULTIPLE_DATABASES variables
