Use el to_field
y db_column
opciones.
class B(models.Model):
name = models.ForeignKey(A, to_field="name", db_column="name")
Una vez que haya creado la clave externa, puede acceder al valor y la instancia relacionada de la siguiente manera:
>>> b = B.objects.get(id=1)
>>> b.name_id # the value stored in the 'name' database column
>>> b.name # the related 'A' instance