No, solo puedes heredar de una imagen.
Probablemente no desee que Java y MySQL estén en la misma imagen, ya que es más idiomático tener un solo componente en un contenedor, es decir, cree un contenedor MySQL separado y vincúlelo al contenedor de Java en lugar de poner ambos en el mismo contenedor.
Sin embargo, si realmente debe tenerlos en la misma imagen, escriba un Dockerfile con Java como imagen base (declaración FROM) e instale MySQL en el Dockerfile. Debería poder copiar en gran medida las declaraciones del Dockerfile oficial de MySQL.
