Sí, afecta el rendimiento, especialmente cuando selecciona varias filas. Seleccione solo los campos que realmente necesita.
Tomemos como ejemplo una verificación simple de la existencia de un nombre de usuario:
¿Por qué seleccionaría todo, cuando puede seleccionar solo ID? Ambos hacen el trabajo, pero seleccionar solo un campo es una solución mucho mejor.
SELECT `id` FROM users WHERE `username` = 'Nikola K.'
en lugar de:
SELECT * FROM users WHERE `username` = 'Nikola K.'