No es de extrañar que esté saliendo mal. Tiene un tamaño de pila de 128 Mb por subproceso, pero solo 4096 Mb en total. Eso le da solo espacio suficiente para usar 40 subprocesos y luego no tener ningún objeto en el montón.
Probablemente sea mejor descomentar todos los tamaños de espacio y dejar que la JVM haga su trabajo automáticamente.
