汉成帝在宫中和赵氏姐妹风流快活，胡天胡地，朝廷大权就渐渐落入外戚王氏之手。外戚专权本来是汉朝政治的一个特点，比较著名的就有吕后当权时权倾一时的吕氏家族和昭帝宣帝时能左右皇帝废立的霍氏家族。汉成帝作了皇帝，他的母亲王政君也就算是苦尽甘来，她饱受无权无势之苦，深知权力的重要性，一旦做了皇太后，就开始大力扶植娘家人的力量。她有八个兄弟：王凤、王曼、王谭、王崇、王商、王立、王根、王逢，除了王曼早死之外，王凤被封为作为政府百官之首的大司马大将军领尚书事，其后王商、王根也曾担任此职。王崇被封为安成侯，食邑万户，王谭等也加官晋爵，配享食邑，兄弟皆为列侯，形成了王氏外戚把持朝政的局面。
对于王氏外戚的专权，汉成帝也有过不满，但他继承了父亲懦弱的性格，再加上母亲干涉，所以也只好听之任之。当王凤专权的时候，汉成帝对他多少有点忌惮，所以尚能谨言慎行，不至于太过分。等到王凤一死，汉成帝没了顾及，便开始放纵起自己的酒色之好来。但这样做的结果只能是使权力更加集中到王氏手中。而王氏外戚看到皇帝都不能把他们怎么办，也就更加骄奢淫逸，肆无忌惮起来，假公济私，豪奢淫靡，贪赃枉法，无所不为。
王凤群弟争相奢侈，搜刮珍宝，掠夺财货。家中姬妾成群，自然都是夺自良家妇女。各家的男女奴婢有上千人，也都是来自穷家小户的儿女。而且，他们还渐渐地不把皇帝放在眼里了。成都侯王商生病时，为了避暑消夏，竟然向成帝借用了明光宫，公然享受皇帝待遇，把自己放在与皇上平起平坐的位置。后来，他又擅自凿穿了长安城的城墙。按说城墙不仅是京城重要的防御工程，而且代表着帝王的尊严，是不能随便破损的。但王商这么做不过是为了把澧水引入自己庄宅中用来行船取乐。而这一切汉成帝来到他家才看到，事前竟然一无所知。成帝心里非常气愤，但没有发作。
又有一次，成帝微服出游，路过曲阳侯王根的宅第，见其园中的建筑是仿照未央宫中的白虎殿而兴建的：赤墀青琐，用红色漆涂地，用青色漆涂雕着连环花纹的窗子，这都是皇帝的宫廷才能如此装饰的，而王根居然敢藐视皇家，僭越无礼，采用天子的皇宫式样，这可是欺君之罪。对这种越轨行为，汉成帝可忍不住了，他怒不可遏的把车骑将军王音叫来，一顿大骂。王音见皇上发怒，就出了一个馊主意，让王商、王根兄弟自行黥劓来向皇太后请罪。成帝知道了更是气上加气，就要治他们两人之罪。于是第二天，王音带着王商、王立，甚至还有王根，雄赳赳地上朝向皇上请罪。汉成帝本来就对王氏外戚的权势忌惮三分，又怕母亲因此在自己耳朵边叨叨，再一看见这阵势，就更是头疼，哪还敢治罪，于是事情也就不了了之了。