Puede utilizar citas literales:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
La documentación para los literales se puede encontrar aquí.
Alternativamente, puede usar dos comillas para indicar una sola comilla:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
El mecanismo de cotización literal con la sintaxis Q es más flexible y legible, en mi opinión.
