Si te entiendo bien, primero quieres ordenar las familias por el nombre del titular, luego por los nombres de los dependientes. Lo siguiente hace eso.
with family_order as (
select idfamily, rownum r from (
select idfamily from costumer where relation = 'H' order by name
)
)
select c.* from costumer c
inner join family_order fo on c.idfamily = fo.idfamily
order by fo.r, relation desc, name
