虞山在虞山公园内，叠彩区北极路东，漓江西岸，是桂林城北一座孤峰，海妃殉之。根据这个动人的古老传说，唐时在山下建虞帝庙，庙东宋人建南薰亭，把山叫做虞山或舜山。虞山西麓有南北对穿的南薰洞，又名韶音洞。曾是古老的地下河道。山崖上有唐韩云卿文，韩秀实书、李冰阳篆额的《舜庙碑》和宋朱熹作的《虞帝庙碑》等石刻。洞内有张式的《韶音洞记》，方信儒的《古相思曲》等。
韶音洞韶音洞在虞山西麓，为一南北对穿的古地下河道，高2～3米，宽5.5米，深105米，面积约720平方米。北洞前淙淙流水、阵阵松涛，交汇成韵，有如舜帝所制“韶乐”，因有韶音洞之名。张式《韶音洞记》云：“洞之深凡十有三丈，广二丈有奇。牖之外少西，有地隆然而高为台，可钓。明年秋，又于洞之左得小丘，平广爽垲，江出于旁，凡桂之山，瑰奇杰出者悉献其状。”明周进隆题“韶音洞”洞名，清俞徵题“薰弦”二字，都表达了洞的特色。
南薰亭南薰亭在虞山南山腰。始建于宋淳熙二年(1175)，为张式创建，历代均有修葺。亭东可望漓江，南有松林，亭北山水交织，一派灵秀景象。抗战期间毁于战火，仅存遗址。昔日是谒舜庙从容游息、宴集之地。清人查淳《南薰亭诗》，“留题字满苔痕绿，古庙烟浮松影寒。此日登临无限恨，追思往事一凭栏”，诗人对今昔抒发无限感慨。如今，新建虞山大桥飞架漓江东西岸，车队如龙，古庙苍松将长青万古。
在市区虞山（又名舜山）南麓。虞山为桂林开发较早的名山之一，在唐代已经非常有名，宋代多有修葺，后因历年战乱而废，近年仿古重建，可见遗风。相传虞帝南巡曾到此山，故名虞山。并立庙纪念。庙建于何时无考。
唐建中元年(773)，朝议郎守尚书礼部郎中上柱国韩云卿，朝议郎守梁州都督府长史武阳县开国男翰林待诏韩秀实，京兆尹人李阳冰，曾合璧《舜庙碑并序》于虞山，此为记述舜庙最早的一方石刻，南宋淳熙年间(1174-1189)，宣教郎主管台州崇道观朱熹作，《舜帝庙碑》云：“虞帝祠在城东北五里，而近虞山之下，皇泽之湾，盖莫详其始所自立，而有唐石刻辞在焉。南宋淳熙二年(1175)春2月，今直秘阁张侯式始行府事，奉奠进谒，仰视栋宇倾垫弗支，图像错陈造已淫厉。”于是“命撤而新之”。这是有记载的第一次修葺。此后，修葺之事历代均有。今殿堂，僧舍已废，遗址尚存。
老牛伏地成虞山相传常熟地方原无山丘。一日,仙人牵一老牛,自东南而来,刚入常熟境,老牛即伏地不走。仙人问当地百姓:“此为何处?”答曰：“万段圩”〈今任阳乡〉。仙人听毕,对牛摇首叹道：“万段圩太小,不够你吃,起来再走。”仙人牵牛再走一程,老牛又伏地不行。仙人问当地百姓：“此乃何处?”答曰：“九万圩”〈今城内〉。仙人听毕,仍对牛摇首叹道：“九万圩也不够你吃,还得朝前走。"可是老牛硬是不肯起步。仙人只得举鞭催赶。一鞭敲断牛尾,老牛依然伏地不动,仙人无奈,腾空弃牛而去。从此,伏地老牛化成江南名山一一虞山。现在远眺虞山，形状宛如一头卧牛，头朝东南，尾向西北，半山处的辛峰亭犹若牛角翘首。据说城内方塔即是仙人系牛之木桩，山下之湖(尚湖)乃仙人喂牛之料桶所变。连偌大常熟城亦是仙人之牵牛绳围成。老牛为何伏地不走？只因常熟土地肥沃，水草丰茂之故。
虞山国家森林公园分辛峰、维摩、兴福、剑门、宝岩五个游览区。虞山宝岩生态观光园占地1500多亩，是国家持续高效农业技术研究与示范常熟示范区的一个项目，也是虞山国家森林公园的一个重要景区，它地处北亚热带的北缘，气候温和，雨量充沛，背山面湖，坡面朝南，具有极为良好的自然生态环境。
宝岩生态观光园人文景观丰富，原有名刹宝岩寺，据记载为梁天监年间（公元502年）初建，至今已有1490年历史，文革时被毁。园内还有曾朴墓、翁同和墓、钱谦益与柳如是墓和元代大画家黄公望墓等一批名人古墓。宝岩生态观光园也是常熟民间“看杨梅”的地方，“看杨梅”风俗相传已有900年的历史，元《琴川志》及清康熙《常熟县志》中均有记载。2002年6月15日，成功地举办了第四届宝岩杨梅节，使“到宝岩，看杨梅”的民间习俗重放异彩。1983年，建设“维摩旭日”景点，利用维摩寺遗迹兴建维摩山庄。
多长1989年，张兆明先生与周畹玉女士出资于山庄园中栽植桂树百株。1982年，江苏省太湖风景名胜区建设委员会，将虞山风景名胜区列为太湖风景名胜区十个景区之一。
2011年，虞山尚湖旅游区获批国家5A景区。
2013年，被评为5A级旅游景区。
2013年，被国家林业局评为中国最美森林旅游景区。