Creo que aus_lacy está un poco equivocado en su solución:primero debe convertir el QuerySet a una cadena que contiene el SQL que respalda el QuerySet
from django.db import connection
query = str(ModelToRetrive.objects.all().query)
df = pandas.read_sql_query(query, connection)
También hay una solución menos eficiente en memoria pero aún válida:
df = DataFrame(list(ModelToRetrive.objects.values('id','some_attribute_1','some_attribute_2')))
