Prueba esto, puede que te ayude a conseguir exactamente lo que quieres.
infoModel.find({contactId: ObjectId("5baa28a3f1268917e9220138")})
.populate('contact', "name email")
.then(infoDetails => {
console.log("Info Details -> ", infoDetails)
}).catch(err => {
console.log("Error Occured -> ", err)
})
Consulte documento para mayor conocimiento.