Verifique si el campo es numérico, luego ejecute la comparación solo en esos campos en una declaración.

¿Esto funciona para ti?

select * from purchaseorders
where (case when IsNumeric(purchase_order_number) = 1
       then cast(purchase_order_number as int)
       else 0 end) >= 7