la población de mangosta devuelve una matriz nula

Parece el ref incorrecto en el userSchema , debe hacer referencia a book esquema en lugar de user esquema en sí.

var book = mongoose.model('Book', bookSchema);

...
books: [{type: Schema.Types.ObjectId, ref: 'book'}]