restringir para almacenar valores duplicados en mongodb

Debe definir el único para el índice:

var QuestionListSchema = new Schema({
    topicName: String,
    quesList: {
        quesListName: {
            type: String,
            index: {
              unique: true
            }
        },
        by: String
    }
});

http://mongoosejs.com/docs/api.html#schematype_SchemaType-index