Terminé eliminando el Dockerfile, agregando los comandos en un script bash y luego llamando al script desde el archivo docker-compose. Usé un script en lugar de un comando en el archivo docker-compose porque estoy importando varios archivos, por lo tanto, varios comandos que no se muestran en mi ejemplo. Necesitaba usar mongo:3.2.6 para que esto funcione. Puede haber otras versiones, pero esta funciona seguro.
docker-compose.yml
version: '3'
services:
mongodb:
image: mongo:3.2.6
ports:
- 27017:27017
mongo_seed:
image: mongo:3.2.6
links:
- mongodb
volumes:
- ./mongo-seed:/mongo-seed
command:
/mongo-seed/import.sh
/mongo-seed/import.sh
#! /bin/bash
mongoimport --host mongodb --db test --collection census --type json --file /mongo-seed/census.json --jsonArray