¿Tipo de datos para guardar el archivo de Excel en el servidor SQL?

Sí, puede usar un tipo de archivo binario. VARBINARY(MAX) es probable que se ajuste mejor al propósito.

Con respecto a cómo "convertir el archivo de Excel a bytes" (realmente son bytes desde el principio), necesitaremos saber más sobre su entorno de programación para poder ayudarlo. Si está utilizando .NET, debería poder hacer algo como esto:

var insert = new SqlCommand("INSERT INTO tbl (xls) VALUES (@xls)", conn);
insert.Parameters.AddWithValue("xls", File.ReadAllBytes("template.xls"));
insert.ExecuteNonQuery();