Puede utilizar el ISNUMERIC función:
select * from table where isnumeric(mycolumn) = 0
Si permite valores NULL en su columna, también deberá agregar una verificación de NULL desde ISNUMERIC(NULL) evalúa a 0 también
select * from table where isnumeric(mycolumn) = 0 or mycolumn is not null
