¿La actualización del documento anidado de Mongoose está fallando?

No está utilizando los nombres de campo correctos en su B.update llamar. Debería ser esto en su lugar:

B.update(
    { 'PDFs._id': pdf_id },           // <== here
    { $set: {
        'PDFs.$.title': 'new title'   // <== and here
    }}, function (err, numAffected) {
        if(err) throw err;
        assert.equal(numAffected,1);
    }
);

También deberías arreglar tu reset función para no llamar a su devolución de llamada hasta que save completa:

function reset(cb) {
  B.find().remove();
  // create some data with a nested document A
  var newA = new A( { title : "my title" })
  var newB = new B( { PDFs: newA});
  newB.save(cb);  // <== call cb when the document is saved
}