lo que debe hacer es agregar phpmyadmin a la configuración de apache:
sudo nano /etc/apache2/apache2.conf
Agregue la configuración de phpmyadmin al archivo:
Include /etc/phpmyadmin/apache.conf
luego reinicie apache:
sudo service apache2 restart
En Windows, creo que puede navegar hasta el archivo de configuración de apache2 e incluir el archivo de configuración de phpmyadmin como se muestra arriba, luego reiniciar apache