Estudió matemáticas y física en la Universidad de Basilea, donde más tarde enseñó geometría. Desarrolló su carrera principal como profesor de secundaria para niñas. Su famoso trabajo de 1885 fue realizado a sugerencia de un amigo físico. Fue miembro de la Sociedad Suiza de Física. A pesar de la importancia de su descubrimiento, Balmer nunca ocupó un puesto de profesor de física.