Uso de T-SQL EXCEPTO con DELETE / Optimización de una consulta

También puedes probar not exists y el script se vería así:

delete from [Deliverables] 
where not exists 
    (select 1 
        from [ActiveProjects]
        where [ActiveProjects].[ProjectID] = [Deliverables].[ProjectID])

Si hay una gran cantidad de datos en [ActiveProjects], entonces debería ser una mejor solución, sin embargo, todos dependen de los datos, así que pruebe la eficiencia antes de usar.