Hacer consulta dinámica con Mongoose

Necesitas crear tus updates objeto en dos pasos:

var updates = { $push: {} };
updates.$push["array.$.array2." + index + ".answeredBy"] = userId;

Actualizar

Ahora que node.js 4+ admite computed nombres de propiedades , puedes hacerlo en un solo paso:

var updates = { $push: {
    ["array.$.array2." + index + ".answeredBy"]: userId
} };