Después de leer los documentos de SQLAlchemy y jugar un poco con la instancia de db, finalmente obtuve la solución. Agregue db.get_engine(self.app).dispose() en tearDown() para que se vea como:
def tearDown(self):
db.session.remove()
db.drop_all()
db.get_engine(self.app).dispose()
self._ctx.pop()
