psql devuelve valor/error al eliminar el script de shell que lo llamó?

ON_ERROR_STOP no funcionará con -c opción.

Además, el $(...) rodeando el psql se ve mal, ¿quieres ejecutar la salida como un comando?

Finalmente, olvidó una barra invertida después de -L opción

Intenta usar un "documento aquí":

psql \
  -X \
  $POSTGRES_CONNECTION_STRING \
  -w \
  -b \
  -L ./output.txt \
  -A \
  -q \
  --set ON_ERROR_STOP=on \
  -t <<EOF
\copy mytable(...) from '$input_file' csv HEADER
EOF

echo "import is done"