Matriz de proyecto de objetos a valor clave

Sí, usando $arrayToObject y $map para convertir la matriz existente a un formato que acepte:

db.collection.aggregate([
  { "$replaceRoot": {
    "newRoot": {
      "$arrayToObject": {
        "$concatArrays": [
          [{ "k": "date", "v": "$_id.date" }],  
          { "$map": {
            "input": "$aggr",
            "in": { "k": "$$this.gender", "v": "$$this.count" }
          }}
        ]
      }
    }    
  }}
])

Por supuesto, si esto es realmente solo en la "cola" de una agregación existente y no tiene al menos MongoDB 3.4.4 donde se introduce el operador, simplemente puede remodelar el resultado en el código del cliente:

db.collection.aggregate([
  // existing pipeline
]).map(d => 
  Object.assign(
    { date: d._id.date },
    d.aggr.reduce((acc,curr) =>
      Object.assign(acc,{ [curr.gender]: curr.count }),{}
    )
  )
)