Devoluciones de llamada asíncronas de Mongoose en la declaración entonces

Creo tu segundo then(..) debería verse más como esto:

.then(function(book){
    return new Promise(function(resolve, reject){
        BookModel.find({ name: book.name }, function(err, docs) {
            if (docs.length) {
                reject({message: "Book already exists"});
            } else {
                resolve(book);
            }
        });
    });
})