Absolutamente esto último. Puede obtener el valor directamente del índice de PK, mientras que el primero casi con seguridad requiere una exploración de la tabla (a menos que todas las columnas es parte de un índice; e incluso entonces, tiene que tomar valores de todos los índices). Luego, dependiendo de cómo se conecte a la base de datos, hay una gran cantidad de tránsito de datos solo para contar.
explain
puede ayudar aquí. En este caso, te dirá que la selección está optimizada.
