Prueba algo como esto para empezar:
db.textbooks.aggregate({ $group: {
_id: { title: "$title", author: "$author" },
latestEdition: { $max: "$edition" }
}})
Eso le dará cada libro único por título y autor y la última edición. Juega con la consulta y agregación para conseguir exactamente lo que quieres.