MongoDB utiliza el IO mmapeado del sistema operativo como motor de almacenamiento. El máximo teórico, si no hay otros límites impuestos por los detalles de implementación, sería la cantidad de memoria virtual que su sistema operativo puede asignar al proceso mongod. En un sistema operativo de 32 bits, se encontrará con este límite muy rápidamente. En Windows, por ejemplo, de forma predeterminada, la mitad del espacio de direcciones está reservado para el sistema operativo, por lo que su instancia mongod dejará de aceptar escrituras en un tamaño de alrededor de 2 Gb
En un sistema operativo de 64 bits, este máximo teórico es bastante mayor:64 bits, del orden de millones de terabytes, si no me equivoco. Llegarás a otro límite antes de llegar a este.
EDITAR:
Es posible que esto ya no sea cierto a partir de MongoDB 3.0. El motor de almacenamiento de WiredTiger funciona de manera diferente.
