Lamento hacer esto, pero descubrí exactamente lo que tenía que hacer en este momento.
SELECT DISTINCT LEFT(name, 1) FROM mydatabase
Esto devolvió una lista de los primeros caracteres individuales distintos con los que comenzó cada fila de la columna. Lo agregué y lo cambié a lo siguiente para obtener la lista en orden alfanumérico:
SELECT DISTINCT LEFT(name, 1) as letter FROM mydatabase ORDER BY letter
Funciona de maravilla.