Está intentando poner en cola el método de envío de la instancia del objeto de correo y RQ no puede poner en cola los métodos de instancia. Si observa la documentación en la parte inferior de la página, menciona esto:
http://python-rq.org/docs/
Intente definir otro método y enviar el correo de esa manera. Como...
from flask.ext.mail import Mail,Message
from rq import Queue
mail = Mail()
q = Queue()
def queue_mail(msg):
mail.send(msg)
@mod.route('/test')
def m11():
msg = Message("Signup Successfull",
recipients=['[email protected]'])
msg.body = "Hello there, Welcome!"
q.enqueue(queue_mail, msg)
return 'done'