¿Cómo proyectar valores actualizados solo usando findOneAndUpdate en la matriz incrustada Mongoose?

puede usar array.find() así:

const updatebookSource = (sourceId, userId, bookId) => {
  User.findOneAndUpdate({ _id: userId, "books._id": bookId }, up, filter).exec(
    (err, doc) => {
      if (err) throw err;
      let res = doc.books[0].ratings.find(rating => {
        return rating.source === sourceId;
      });

      console.log(JSON.stringify(res, null, 1));
    }
  );
};

Esto devuelve el objeto actualizado. Avísame si funciona.