¿Cómo inserto una fecha BC en Oracle?

No veo el problema con tu sintaxis. Funciona para mí:

Connected to Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 
Connected as xxx

SQL> CREATE TABLE tt (d DATE);

Table created

SQL> INSERT INTO tt VALUES (to_date('-4700/01/01','syyyy/mm/dd'));

1 row inserted

SQL> SELECT to_char(d, 'MM/DD/YYYY BC') FROM tt;

TO_CHAR(D,'MM/DD/YYYYBC')
-------------------------
01/01/4700 BC

SQL>

¿Cuál es el problema exacto que estás teniendo? ¿Qué versión de Oracle?

Tiene que usar el especificador de formato BC o SYYYY en la salida, de lo contrario obtendrá fechas incorrectas:

SQL> select * from tt;

D
-----------
00-h:mm:ss

SQL>