Si usa Windows, las variables del sistema se deben usar como %COHERENCE_HOME% , y no COHERENCE_HOME .
es decir, su comando debería parecerse a java -cp %COHERENCE_HOME%\config;%COHERENCE_HOME%\lib\coherence.jar com.tangosol.net.DefaultCacheServer
También verifique si com.tangosol.net.DefaultCacheServer la clase está en el classpath.