Les populations qui se succèdent vont développer la région. Les Romains lui donnent le nom de Sedunum, en référence aux Sédunes, le peuple celte installé dans la région.
A partir du VIe siècle, Sion devient une ville épiscopale, et le centre social et culturel de la région. Au IXe siècle, le Valais intégré au royaume de Bourgogne. En 999, l’évêque de Sion devient comte du Valais, et Sion devient la capitale politique de la région. La ville est ensuite intégrée au Saint Empire romain germanique. Son prince-évêque est directement rattaché à l’empereur. Les châteaux de Valère, Tourbillon, Majorie et Montorge sont érigés entre le XIIe et le XIIIe siècle.
De nombreux affrontements marquent la vie de la cité. Le plus célèbre est la bataille de la Planta, en 1475, lorsque les Sédunois repoussent les troupes savoyardes. En 1788, un terrible incendie ravage la ville qui est presque entièrement détruite. Reconstruite, elle connaît un essor important avec l’arrivée du chemin de fer, au milieu du XIXe siècle.
Les vestiges du Moyen Âge sont nombreux à Sion : le château de Tourbillon, forteresse aujourd'hui en ruine, a été construit à la fin du XIIIème siècle. Situé sur l'autre colline, le château de Valère date du XIIème-XIIIème siècle. Cette ancienne église fortifiée abrite le Musée d'histoire. L'orgue de la basilique de Valère est le plus ancien encore jouable au monde et, chaque été, un festival de musique ancienne y attire des organistes prestigieux. La Ville de Sion compte également deux autres châteaux du XIIIème siècle : le Château de la Majorie, qui abrite le Musée d'art, et le Château de Montorge.
Dans la vieille ville de Sion, outre les maisons patriciennes du Grand-Pont, signalons la Cathédrale Notre-Dame de Sion (XVème avec un clocher roman du XIIème), l'Eglise gothique St-Théodule (et les vestiges des thermes romains dans ses sous-sols), l'Hôtel de Ville (XVIIème) et le bâtiment Supersaxo (maison Renaissance).