Anticamente chiamato Villa S.Eusebio, l’abitato era posto più a valle e, secondo la tradizione nel 1391 venne distrutto da un’alluvione. Il paese venne quindi ricostruito col nome di Castrum Delphini, ad indicare il castello voluto nel 1336 da Umberto II Delfino di Vienna, distrutto nel 1690 e di cui rimangono alcuni ruderi.

Casteldelfino fu la capitale della Ciastelado, Castellata in occitano, cantone amministrativo dell’alta Valle Varaita comprendente anche i comuni di Pontechianale e Bellino.
A partire dal XIII secolo la Castellata, con Queyras, la Val Pragelato, Oulx e il Brianzonese, fece parte degli Escartouns, originale confederazione alpina legata al Delfinato e successivamente alla corona di Francia. Gli Escartouns godettero di ampie autonomie e privilegi, come l’esenzione da tasse e balzelli, il diritto di portare armi e battere moneta.
Il castellano, nominato dalla popolazione, era scelto tra le poche famiglie nobili della valle.
Nel 1713 col trattato di Utrecht la Castellata fu ceduta ai Savoia. Ebbe inizio un periodo di guerre e le montagne che circondavano Casteldelfino furono, a più riprese, teatro di battaglia fra Piemontesi e Francesi.
Per la sua posizione, nell’ottocento, il paese accentua la sua importanza nella commercializzazione e nella produzione artigianale. Rimasto in continuo rapporto economico con le popolazioni d’oltralpe (Provenza e Delfinato), scevra da eccessive contaminazioni linguistiche, Casteldelfino conserva ancora nella sua parlata, le caratteristiche dell’area occitana.
Il paese, alla data del  30 settembre 2008, conta 190 abitanti.

Il comune è costituito da borgate che rivelano essenzialmente una vocazione agricolo-pastorale: Torrette, arroccata su uno spuntone roccioso, un tempo avamposto verso valle del territorio delfinale; la borgata Caldane, che deve il suo nome alla presenza di sorgenti a temperatura costante; Bertines, Serre e Alboin collocate su di un versante caldo e riparato, ai margini del bosco dell'Alevé; Pusterle, Puy e Chiot Garin, invece poste all'imbocco del vallone di Bellino; Rabioux è infine l'ultima borgata verso Pontechianale.