Copiado del comentario ya que aparentemente condujo a la solución:
Supongo que está filtrando algo más que memoria, tal vez descriptores de archivos. Intenta usar netstat o lsof para ver si hay muchas más conexiones o archivos abiertos de lo que esperas.