Un índice en una tabla del tamaño que mencionó generalmente debería poder eliminarse bastante rápido (y ciertamente más rápido que 3+ minutos). Me parece que la tabla/índice estaba en uso y, por lo tanto, no se pudo eliminar.
Puede confirmarlo consultando el pg_stat_activity tabla y buscando actividad relacionada con la tabla en la que creó el índice.
