$unset está vacío. Debe especificar un campo como este:{$unset:{:...}}

No pude reproducir ese mensaje de error, pero como ha visto, Mongoose solo actualizará los campos definidos en el esquema. Sin embargo, puede anular ese comportamiento predeterminado al incluir el strict: false opción:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)