Erwähnt wird Kaltenberg erstmals in einer Urkunde des Klosters Wessobrunn von 1179.
Das Dorf bildete mit Jedelstetten die Hofmark Kaltenberg, die von 1612 bis 1783 dem Jesuitenkolleg Landsberg und von 1783 bis zur Säkularisation der Commende Kaltenberg zu eigen war. Im Jahr 1752 werden 21 Anwesen in Kaltenberg erwähnt, alle waren der Hofmark selbst grundbar. Die hohe Gerichtsbarkeit lag beim Landgericht Landsberg.
Nach der Säkularisation entstand im Zuge der Gemeindeedikte 1818 die Gemeinde Kaltenberg, die am 1. Juli 1972 nach Geltendorf eingemeindet wurde.