Selección efectiva del registro más cercano (distancia) de una base de datos

este problema está cubierto en esta presentación de Scribd (teoría + fórmulas matemáticas + Mysql):Distancia geográfica con MySQL

Espero que cubra todo lo que necesitas