土司是元明清三个朝代在少数民族地区的头目，土司在其势力范围内管理土民（当地民族），中原朝廷认可。
元代的云南沾益州包括今宣威、今沾益、今富源北部（不包括大河、竹园、墨红）及今盘州西部边缘，实行土司专制。治理沾益州的土司是安氏土司，治所在河东营（今宣威河东营），元朝廷授予安氏土司的官职是沾益州知州，治理区域内民族以彝族为主。明代的沾益州包括今宣威、今沾益和今富源大河、竹园、墨红、今麒麟区东山、茨营，实行土流合治（土官、流官配合治理）。由于设置了流官知州，安氏土司被明朝廷授予的官职就叫土知州，土知州驻河东营，流官知州驻乌撒卫后所城（简称后所，因流官知州住后所城，故后所城又叫沾益州城，城在今宣威老城）。清雍正五年，改土归流，分沾益州为宣威州和新沾益州。至此，安氏土司统治这块土地四百多年的历史结束了。
据安氏家谱记载：安氏自元代安举宗开始，世袭沾益土知州职，一直沿袭到清雍正六年（1728年），其间四百多年的时间，安氏一族共世袭土知州职位二十二人。第二十二人就是安于蕃。
安于蕃于康熙四十三年承袭土司职位，清朝廷沿袭明代制度，仍授他为沾益州土知州。沾益州的土官除了土知州外，还有营长、土目、土舍等。土知州下辖四十八营伙。沾益设置的流官知州是汉人，由朝廷派来，配合土知州管理四十八营伙的土民。流官知州不通彝语，诸如上税、交租、征兵之类的事都是土官办理，流官知州只是起监督作用。流官知州所住的后所城（今宣威老城）驻扎着汉族军队，后所是明洪武十五年置于沾益州心腹地的军事单位。明代时，后所军人属乌撒卫（今贵州威宁）管辖，他们在官道沿线屯守。官道沿线的汉族军人由后所的长官千户管理。直到明末，后所军屯地才又划归还给沾益州。
安于蕃是个接受汉文化程度很高的彝族土司，他生得一副鹰眸，不怒自威，治理本土彝民有方，治下的彝民很敬畏他。他还很好学，能用汉语作诗。他把自己在河东营的署衙命名为“东山”。当地有个汉人绅士叫孙衍庆，很有学问，安于蕃就拜孙衍庆为师，敬礼备至。安于蕃署衙内有二个厅堂，东边的厅堂他命名为“励志”厅，西边的则命名为“启明"厅。从这两个厅堂的命名可以看出他接受汉文化的程度很高。
当时的流官知州叫张棨，与安于蕃不合。雍正四年，曲靖府的有关人员去沾益州提办案件，按照旧例，土官必须增派人去员协同办理。可是，府衙役需索过甚，与安于蕃手下的土目发生口角，就到河东营土知州署衙要求面见安于蕃，安于蕃避而不见。府衙役一气之下砸烂土知州衙门的门牌，回到曲靖府后还向知府告状，流官知州张棨添乘机添油加醋状告安于蕃的不是之处。云贵总督鄂尔泰得知此事后，下文书命令寻沾游击祝希尧去河东营擒拿安于蕃到省诚，然后请旨定罪。
在此之前的雍正四年，卾尔泰就上奏雍正皇帝说：云贵大患，就是当地的民族，如果要当地安定，必先制夷，要制夷必改土归流。土官的消费取于民，是民消费的百倍。土官中的老大一一土司更是过分，土司聚媳妇，他制下的土民三年不敢昏娶，土民有罪被斩，土民的亲属还要出垫刀银数十两，终身无见天日之期。又说：明代在边疆少数民族地区实行土流合治，是因为边疆地区当地人不开化，不学习礼仪风土知识，故因地制宜。现在土司制度已历几百年，相沿以夷治夷，于是出现以盗治盗。国家想要百年无事，非改土归流不可，想要改土归流，非大动兵不可。雍正皇帝接到鄂尔泰的上奏，正合意，拍着脑门说：鄂尔泰是上天赐给朕的好帮手啊。
雍正五年七月，沾益州裁撤，把沾益州一分为二，改设宣威洲和沾益洲。十月，鄂尔泰令张棨和曲靖府通判（相当于今副市长职务）徐德裕清丈安于蕃管辖的四十八营火田亩，自永安铺以南划归新沾益州，以北属宣威州。雍正五年十一月，在原来的后所城（又叫沾益州城，即今宣威老城）建宣威州衙门，河东营土知州的衙门被撤去，其建筑材料被用于建宣威州衙门，只留一楼一底的后衙建筑作为安氏家庙。新任宣威州知州叫张汉。
四十八营伙分布在今沾益、今宣威、今富源。笔者几经查对，知道在宣威境内的有乐农营、木冲、那沙、姬营、得大上、哈马谷、必绍、血舌、当昌、木冬河、得勒、瓦歹、着测、阿免、瑰苏、戛来、法夺，在今沾益境内的有木阳营（在沾益城西七十里）、块启营、歹扯营（今改德泽）、块卜营，在今富源境内的有羊肠营（1937年划归富源县，即今富源县营上镇），甚至在今贵州威宁境内也有安土司的营伙，据《民国宣威县志稿》记载：马摆河（又叫马白河）沿河一带皆夷（彝）族，地属威宁，有马白氏、贡戛氏、奈施氏，三氏皆土州营火。俗皆称为马白家。
雍正七年十二月，安于蕃被发配到江南江宁府安置。他被发配江宁时，下属部民扳着他的轿子痛哭。安于蕃对他们说，不久就回来，含泪劝说他们离开。办此事的大吏也表示理解，沒有追要他的官印。相传他的土知州印藏于三营土目处，流官知州每要取用时，该土目必定要带家兵蜂拥而至，流官知州用完印后又蜂拥而去。后来流官知州不胜其烦，就把土知州官印收回。
安于蕃死后归葬于宣威东山半山腰，有人说这是衣冠冢。安于蕃迁往江宁后，他的画像悬于河东营旧居一楼，有土人（当地彝民）数家供奉。画像上的安于蕃穿着明代汉人官服。