¿Cómo poblar un objeto que tiene una matriz de objetos en mangosta?

no creo que haya ningún problema con .populate('adminInfo.adminId') método.

¿estás seguro de que ref el campo está en CamelCase .

Si no, intente cambiar el campo de referencia ->

adminInfo: {
  _id: false,
  adminId: [{
    type: Schema.Types.ObjectId,
    ref: 'user'
  }]
}