Redis definitivamente no será más rápido que Java nativo en una sola máquina. Le permitiría distribuir el procesamiento, pero si los fragmentos de datos son realmente grandes, es probable que no quepan en la memoria de todos modos. Sin saber más sobre lo que está haciendo, sugeriría almacenar los datos en el disco. Cuando obtiene varias máquinas, puede montar la partición en red y compartir los datos de esa manera. Alternativamente, Hadoop con MapReduce suena como lo correcto para lo que está haciendo.
