据说古时有一少女，父亲不幸抱病身亡。因家中贫困，流荡岳阳，无力安葬老父，少女只好“卖身葬父”。她的孝心感动了一位举人，举人便出资安葬了老人，并且带女子与自家的女儿作伴，后来此女子嫁了好人家，富贵无比。为答谢举人的恩情，特建成石塔，让后代铭记此恩此德。所以，这塔也就名为“慈恩塔”了。