广州城西荔枝湾畔的海山仙馆，是清代广州富商潘仕成的别墅，素有岭南园林之冠的美称。潘仕成，字德畲，道光十二年（1832年）参加顺天乡试，中副榜贡生。后因捐助巨款赈济北京地区灾荒饥民获钦赐举人，曾以经营盐务、洋务为主，后承办海防和军工，遂成巨富。屡次获清廷委任官职，曾任甘肃平庆泾道、广西桂平梧郁道。后调任两广、浙江盐运使。
海山仙馆建于清道光年间，馆门有“海上神山，仙人旧馆”对联，故名“海山仙馆”。馆园是一座艺术园林建筑，从俞庆洵《荷廊笔记》的记载可见其园林景色之美，文中说：该园占地面积辽阔，园中有一小山，山上松柏苍郁，拾级而登，石径曲折迂回，俨然苍岩翠岫矣。山旁有一大池，广约百亩，与江水相通，隆冬不涸，微波荡漾，可以泛舟。在池塘之旁，又有一堂，迥廊曲径，雕花栏杆，十分精致，离堂散步之外，为娱乐场所，每于台中作乐，则音出水面。飘飘缈缈，有如仙山琼阁，令人为之陶醉。在堂之西面，接着小桥为水榭，轩窗四开，一望空碧。三伏天时，藕花香发，清风徐来，暑气全消。在宽敞花园里，遍种荔枝树，绿荫处处，丹荔垂垂，高阁层楼，曲房密室，掩映在绿树丛中，仿如世外桃源，人间之仙境。不少文人雅士面对如此秀丽景色，情不自禁挥毫作联，有题联云：“荷花世界，荔子光阴”。“荷花深处，扁舟抵绿水楼台；荔子阴中，曲径走红尘车马”。何绍基留别海山仙馆题联云：“无奈荔枝何，前度来迟今太早；又从苏舫去，主人不醉客常醺”。
潘仕成极喜收藏，且收藏甚丰，馆内金石、碑刻、古帖、古籍之多，曾以21字的斋名（周敦商彝秦镜汉剑唐琴宋元明书画墨迹长物之楼）历数家珍，被誉为“南粤之冠”。他不惜花费巨资刊刻成《海山仙馆丛书》56种，487卷，共120册，丛书具有中西结合特色。他搜罗历代书法名家王羲之、欧阳询、蔡襄、黄庭坚、苏东坡、米芾、赵孟頫、阮元及清代名人等的法帖、手迹，分为摹古、藏真、遗芬，镌凿成千多块石刻，大多镶嵌在海山仙馆回廊曲径的沿壁中。还把这批石刻拓本编成《海山仙馆丛贴》。计有：《藏真初刻》16卷，《藏真续刻》16卷，《藏真续三刻》12卷，《藏真四刻》6卷，《海山仙馆楔叙》2卷，《尺素遗芬》4卷。还重刻《佩文韵府》212卷，《兰亭集帖》4卷。选刻医药《经验良方》10卷。还收辑算术、地理、西人著述，并附有大量插图，是研究广州经济史、科学史和中外交流史的重要文献。
海山仙馆的千多石刻是潘仕成长期专雇工匠精工镌刻而成，自道光九年（1829年）至同治五年（1866年）完工，历时37年。其中《尺素遗芬》石刻一种就历时8年。潘仕成交游遍天下，书信来往甚多，留下不少名流翰墨，从中选出其中重要的书信，摹刻于石上。石刻手书人包括有相国、太史、尚书、侍郎、总督、布政使、巡抚、将军、太守、状元、榜眼、探花以及翰林院的殿撰、修撰、编修者等113人之多。可见潘仕成耗资和花费的心血之巨大。随着岁月流逝，至今只有《尺素遗芬石刻》部分基本保存完整，现存于原汪精卫旧宅“湖海亭”的遗址（现广州法政路30号中共广州市委办公大院3号楼）。
潘仕成平生轻财好义，乐善好施，早年为京城、广东地区多次赈济捐资，一次竟达13000两白银之多。后又捐资13500两抢修广州贡院，出资为小北门至白云山铺设石路等。在督办我国沿海七省战船时，捐制战船和军饷。不惜重金捐制火炮抗英，受到两广总督林则徐、祁的赞扬。1842年曾出资6500两重金聘请美国人壬雷斯来华研制水雷，获道光皇帝嘉奖。
潘仕成后因盐业亏累而破产，馆园及财产被抄没入官，于是官府招商投标，以每张3两银，发行彩票，中奖者得此园。据传，中奖者是一位教书先生，后因得此园无用，只好拆料变卖。有人将“海山仙馆”四字拆成“每人出三官食”六字，讽喻潘仕成最后破产的窘况。
海山仙馆确切馆址所在地众说纷纭，据有关资料介绍，范围大致在荔湾湖一带。南至蓬莱路，北至泮塘，东至小画舫斋，西至珠江边这一范围之内。
