¿Cómo devuelvo un agregado de submatrices con un filtro en la matriz más alta?

Puede probar la siguiente agregación:

ChoreChart.aggregate([
    { "$match": { "affiliation": affiliation, "year": week.year, "weekNumber": week.number } },
    {
        $addFields: {
            chart: {
                $filter: {
                    input: "$chart",
                    cond: { $eq: [ "$$this.ordinal", 2 ] }
                }
            }
        }
    }
])

$addFields reemplaza el campo existente y $filter matriz interna de filtros. Además, dado que su ordinal es un número que también necesita para especificar el número no cadena en su consulta.