En algún lugar tiene que haber una asociación a ese objeto (Lista, Mapa, Conjunto, etc...) primero tiene que eliminar ese Objeto de allí antes de poder eliminarlo.
Se hizo una pregunta similar aquí:el objeto eliminado se volvería a guardar en cascada (eliminar el objeto eliminado de las asociaciones)