SELECT column1 FROM table WHERE ISNUMERIC(column1) = 1
Tenga en cuenta que, como ha señalado Damien_The_Unbeliever, esto incluirá cualquier tipo numérico válido.
Para filtrar las columnas que contienen caracteres que no son dígitos (y cadenas vacías), puede usar
SELECT column1 FROM table WHERE column1 not like '%[^0-9]%' and column1 != ''
