Lo que está buscando es launchctl limit maxfiles
.
Para cambiarlo, debe ejecutar el comando launchctl limit maxfiles 1024 2048
por ejemplo.
Para cambiar permanentemente esos valores, debe crear /etc/launchctl.conf y establecer los valores que necesita (consulte aquí
para más detalles) o agregue el comando mencionado anteriormente a su ~/.bash_profile.
O puede crear un script que establecerá un límite y luego iniciará mongo