¿Cómo puedo usar JSON_EXTRACT en MySQL y obtener una cadena sin las comillas?

Puedes usar JSON_UNQUOTE para lograr esto.

select JSON_UNQUOTE(JSON_EXTRACT(base, '$.scope')) as scope from t_name

ref:Funciones que modifican valores JSON