山阳，史称丰阳。西晋泰始二年（266）设县名丰阳县，宋咸平元年（公元998年）置山阳县，县城地处商山之南，故名。建县距今已1700余年。
西晋泰始二年（266），分京兆南部及平阳北部设置丰阳县，属上洛郡，辖今山阳、镇安、柞水地。建武元年（317年）撤。北魏太安二年（456年）复设丰阳县，属上庸郡。皇兴四年(470)为东上洛郡治所。永平四年(511)东上洛郡改名上庸郡，仍为郡治。隋开皇三年（583）属商州。大业三年（607）属上洛郡。
唐武德元年（618）复属于商州。唐景龙二年（708年）属京兆府。景云元年（710年）改属商州。天宝元年（742）属上洛郡。乾元元年（758年）属京兆府，继还属商州。后汉乾佑二年（949年），属京兆府。北宋开宝九年（976年），属永兴军路。宋咸平元年（公元998年）改名山阳县。金初属京兆府路。贞元二年（1154）废县为镇，属上洛县。元复设丰阳县。属奉元路。明成化十二年（1476）易名为山阳县，属商州。清因之。民国二年（1913）属汉中道。民国十六年直属陕西省。民国二十四年属陕西省第四行政督察专员公署。
1949年属商雒分区。1950年属商雒专区。1964年商雒专区改名为商洛专区。1970年商洛专区改称商洛地区，山阳县均属之。2001年8月31日撤销商洛地区设立地级商洛市。山阳县属之至今未变。
