济南作为地名，始见于西汉初年。汉高后二年（公元前186年），汉朝割齐国的济南郡为吕王的奉邑，这说明至迟在公元前186年以前就已设置济南郡。此后，尽管济南地方治所的称谓时有所变，但“济南”这个地名一直沿用至今。

在历史发展过程中，济南逐渐成为重要的政治、经济和文化中心。明洪武元年（1368年），济南成为山东行省的治所，此后一直是山东省的政治中心。清末时期，胶济、津浦两条铁路相继建成，交汇于济南，使得济南逐渐成为华北地区的交通枢纽和工商业城市。济南南上山街的名字来源于它曾是赴南郊诸山的一条通道。在1932年的《济南市市区图》中，这条街道就已经被标注为南上山街。因此，济南南上山街的由来与其地理位置和历史作用密切相关。