En caso de que alguien más se lo pregunte, debe redirigir todas las rutas que Node no está usando a Angular:
app.get('*', function(req, res) {
res.sendfile('./path/to/index.html')
})
Esto tiene que hacerse en server.js. No olvide usar ./ en el enlace del archivo de envío :)