过去人们通常将喀喇沁旗政府所在地的锦山镇称为公爷府，这是一种误传。公爷原来的府第实际在锦山镇约三华里处，后来人们称之为西府的地方，才是清朝皇帝驸马的府第。

府门前有左、中、右三通红色影壁，中间一通长30米，左、右两通稍短些，呈人字型。影壁以里不准外人通过，否则打死无论。影壁外面立有高大牌坊。牌坊外东西两边又有“文官下轿，武官下马”的石碑。府第分东西两院，东院为驸马院，西院是公主宫。

这位公主就是清圣祖玄烨第五女儿和硕端静，康熙三十一年（一六九二年），下嫁给喀喇沁右旗第三代郡王噶勒藏，时年一十八岁。公爷府就是为了迎娶她而修建的一座豪华府第，不过开始不叫公爷府，而是称公主宫或驸马府。

这座府第完全是宫廷式建筑，丹青斗彩，十分华丽。府第正门有一幅楹联“金枝玉叶府，朝郎驸马门”。院中，苍松翠柏，古雅庄严。东西两第各有房屋二、三百间，内分大厅、正堂、寝宫、祀堂、梳妆宫、书房等等。东院大厅正门上方，悬有御赐浮雕九龙匾额，题目“宜家昌后”。

康熙三十七年（一六九二年），康熙皇帝奉皇太后去盛京谒陵祭祖，巡幸边疆，到过此地，就驻跸在和硕端静公主的宫里，并在这里接受北方蒙古王公的拜谒。《清实录》对这次巡幸载曰：“以葛尔丹荡平，躬诣盛京告祭，时以山海关一带秋禾在地，命取道口外往。”“祭丑，幸喀喇沁和硕端静公主第。甲寅，赐和硕端静公主和硕额金币。”这在当时，属无上荣耀之事。康熙皇帝还游览了龙泉寺，把自己御用的金马鞍赠给寺里住持和尚，这在整个清代被传为佳话。

康熙四十九年（一七一○年），噶勒藏因公主有外遇，盛怒之下，赐死公主，时年三十七岁，噶勒藏获罪夺爵。公主的后人敏珠尔拉布坦，请封为镇国公加固山贝子衔，成为名副其实的公爷。传至第三代丹津达尔扎时，降袭镇国公为辅国公。乾隆二十五年（一七六○年）到第五代降辅国公为一等塔布囊。这就每况愈下了。

随着人丁繁衍、支系增多，家道开始衰落。到光绪年间，仅西府一处就分为三支;额门达赖居正府，人称前衙门；僧格苏达那木居后院，人称后衙门；色格图居西院，人称西衙门。

色格图每日吸食鸦片，五十二岁时死去。之后，族内为争夺财产，明争暗斗。后人多系纨绔子弟，不数年家财耗费殆尽，只有折卖房产维持生活。不数年，走的走，亡的亡。额门达赖酷爱京剧，叫差民拆六间房子，说完便去看戏。多拆了几间，他也不知道，竟败落到如此地步。当年被外人看一眼都被视为触犯刑律的森严府第，到一九四五年已经破落不堪，拆除殆尽。