El método AverageRating no es una relación y no puede usarlo como una relación. Si desea tener una calificación promedio, establezca la calificación promedio en los atributos adjuntos.
Curso.php:
protected $appends = [
'average-rating'
];
function getAverageRatingAttribute(){
return round($this->rating()->avg('ratings'),1);
}