Como tus $skills variable parece ser una matriz, podría usar el Eloquent whereIn función.
$workers = Worker::whereHas('skills', function (Builder $query) use ($skills) {
$query->whereIn('name', $skills);
})->get();
Actualizar
Lo siguiente debería proporcionarle una colección de Workers que tienen todas las Skills .
$workers = Worker::whereHas('skills');
foreach ($skills as $skill) {
$workers->whereHas('skills', function (Builder $query) use ($skill) {
$query->where('name', $skill);
})->get();
}
$workers->get();