Devuelve un tipo de datos SQL, p. VARCHAR2. Además, recomendaría no usar CUANDO OTROS. Además, no necesita una consulta en dual:
create or replace
function IS_NUMBER(str in varchar2) return varchar2
IS
n number;
BEGIN
n := to_number(str);
return 'Y';
EXCEPTION WHEN VALUE_ERROR THEN
return 'N';
END;