毗山位于湖州城东，由于近城，所以名毗山。毗山风景优美，吸引了历代文人。南梁时吴兴太守柳恽在山上筑毗山亭、读书台，五代时钱氏随山势筑园，岩洞秀奇。宋代吴约仲在毗山筑“旷远亭”。明代尚书潘季驯筑毗山园，毗山山清水秀，北麓有毗山漾，碧波荡漾；南有苕溪，舟楫来往；东北有塘河，沿山环绕。登毗山，远眺太湖，近瞰湖城均十分相宜。南宋周密在文中说：“可喜下瞰太湖，手可揽也。”今山麓至山顶有宽敞石阶，山腰又建和章亭，游人可坐息。山顶有慈云寺，慈云寺原是潘季驯家庙，后改建而成，中轴线上天王殿、大雄宝殿、圆通殿依山势而建，主供缅甸大玉佛。