南越王赵胡因病去世了，太子婴齐即位做了南越王。婴齐即位后就把先祖赵佗曾经称帝的印玺藏了起来，不敢再称帝。
婴齐在长安做宿卫时，娶了邯郸樛家女子为妻，生个儿子叫赵兴。待到他即位，便向汉天子上书，请求立妻子樛氏为王后，赵兴为太子。汉朝屡次派使者婉转劝告婴齐要入朝拜见天子，婴齐喜欢自己掌握生杀大权，惧怕进京朝拜天子，会被强迫和内地诸侯一样，执行汉朝法令，因此也推托有病，不肯入京，只是派儿子次公入京当宿卫。
婴齐死后，太子赵兴即位，他的母亲樛氏做了太后。樛氏在没嫁给婴齐做妾时，曾经同霸陵人安国少季通奸。等到婴齐死后，汉朝派安国少季前去规劝南越王和太后，让他们依照内地的诸侯，进京朝见皇帝。并命大夫终军拿着诏令，宣谕南越王。
安国少季做为汉朝使臣，来到南越国与太后再次相遇，又旧情复燃。因太后是中原人的原因，南越人大多不依附太后。太后害怕发生动乱，就想依靠汉朝的威力，来巩固自己的势力。就屡次劝说南越王和群臣请求归属汉朝，又通过使者上书天子，请求和内地诸侯一样，每隔三年入朝一次，撤除边境关塞。
天子随即答应了他们的要求，赐给南越丞相吕嘉一枚银印，也给内史、中尉、太傅等都赐了官印，其余的官职由南越王自己委任。废除了南越国的法律，沿用汉朝的法律，和内地诸侯一样。使者都留下来安抚南越。南越王及太后开始准备行装和礼物，为入朝做准备。
南越丞相吕嘉年纪大了，辅佐过三位国王，他的宗族内当官做长史的有七十多人，男子娶的都是王室女子，女子嫁的都是王子及其兄弟宗室之人，同苍梧郡的秦王也有联姻关系。吕嘉在南越国地位非常显要，南越人民都很信任他，比南越王还得民心。
当南越王要上书天子，要求内附时，他屡次劝阻，但国王没听。他因此产生了反叛的念头，多次托病不去会见汉朝使者。使者也都注意到吕嘉这个人，只是因为形势的关系，没有诛杀他。
南越王和太后害怕吕嘉先动手，就设置酒宴，想借助汉朝使者的权势，除掉吕嘉等人。宴席上，使者面朝东而坐，太后面朝南，南越王面朝北而坐，丞相吕嘉及大臣都面朝西陪着一起饮酒。吕嘉的弟弟是将军，率军守候在宫外。
酒席宴中，太后对吕嘉说：南越国归属朝廷，这对国家是有利的，可是丞相您却总说不好，这是为何？
太后把问题摆在桌面上，想借此激怒汉朝使者杀了吕嘉。但使者们满腹狐疑，面面相觑，始终没有发作。吕嘉见座中人脸色不对，感到不祥，当即起身出去。太后大怒，想派人用矛刺杀吕嘉，被南越王阻止了。
吕嘉出来后，分取他弟弟的军队，护卫他回到府中，从此便托辞有病，不再去见南越王和使者，暗地里勾结大臣准备谋反作乱。
南越王原本无意杀掉吕嘉，吕嘉也深知这一点，因此历经数月始终没有动手。太后因为是中原人，南越人都不依附于她，所以她特别想杀掉吕嘉等人，但汉朝使者太软弱，不敢为太后作主，太后也没有办法。
汉武帝得知南越丞相吕嘉，不服从南越王，南越王又不能制服吕嘉，汉使臣胆怯不敢决断。汉武帝觉得一个丞相作乱，无须大兵征讨，就想派庄参率两千将士出使南越国。庄参以为想用武力解决南越问题，两千人肯定办不到，便推辞自己不能胜任，汉武帝就不让他去了。
原济北王丞相韩千秋自告奋勇说：一个小小的南越，又有国王和太后做内应，只是吕嘉从中破坏，我愿意率二百勇士前往，一定杀了吕嘉，向天子报告。
汉武帝派韩千秋和太后的弟弟樛乐，率二千人马奉诏进入南越。他们进入南越境内，吕嘉便起兵造反，并向南越国下令，极力贬谪国王、太后一心归汉，不以南越国利益为重，把南越国珍宝都献给汉天子，讨好谄媚天子。根本不为南越国后世做谋划。
吕嘉决定反叛，同弟弟率兵攻打王宫，杀死了南越王、太后、汉朝使臣。另立明王与南越籍妻子所生的儿子赵建德为南越王。这时韩千秋所率两千人马已进入南越境内，没有遇到抵抗。当进入距王都约四十里的地方，吕嘉派兵，前后夹击，韩千秋的两千人马，全部被消灭。
汉武帝得知吕嘉反叛，杀死南越王、太后及使臣，并消灭了韩千秋的军队，大怒，立即下诏令讨伐南越叛贼。元鼎五年秋天，任命卫尉路博德为伏波将军，率兵从桂阳出发，共四路大军，水陆齐进，向南越国进发，各路大军在王都番禺会师。
元鼎六年冬天，楼船将军率领精锐士卒，首先攻下寻陕，然后攻破石门，缴获了大量南越的战船和粮食，乘胜向前推进，连续几个胜仗，挫败南越的先头部队，率数万大军，等侯伏波将军的到来。
伏波将军率领被特赦的罪犯，道路遥远，误了会师的日期，按时与楼船将军会师的士兵才一千余人，与楼船将军一同前进，直逼番禺城下。赵建德和吕嘉都在城中防守，楼船将军驻兵番禺的东南面，伏波将军驻军在番禺西北边。
伏波将军安营扎寨后，就派使者进城招纳南越人投降，南越人平时就听说过伏波将军的大名，如今天黑，也不知道伏波将军有多少军队。此时楼船将军已攻破东城门，并放火烧城。城中的南越兵都跑到伏波将军的军营投降。待到天亮，全城的南越兵都投了伏波将军。
吕嘉和赵建得带领几百个部下，在夜里逃到海上，乘船向西逃去。伏波将军询问投降的南越兵，弄清了吕嘉的去向，立即派人追捕。吕嘉和赵建德都被伏获。
因吕嘉反叛，南越被灭国。