桓谭成为黄门侍郎，属于荫父亲之职，毕竟他们家世代都是替汉朝皇帝管礼乐的，他擅长音乐，善于弹琴，每逢宫廷宴会，汉成帝兴致上来了，往往让桓谭主持演奏。
但他不甘心只当一个乐官弄臣，常常进入天禄阁看书，数年下来博学通达，但都只训诂大义，讨厌繁琐章句，还时常讥笑那些天天宣扬谶纬的俗儒，因此多受排挤。
他家世交不少，从小到大伙伴、同事也多，但都是泛泛之交，要论真正的知心之交，三十年来竟无一人。
直到那一年，汉成帝的黄门侍郎署中，来了一个说话有点口吃的巴蜀乡下人，年纪挺大，四十老几了，不修边幅，靠近后还能闻到酒臭。
他站在多是勋贵子弟的郎官队伍里，显得格格不入，直到桓谭路过，觉得其气度不俗，主动与他打了个招呼。
“沛郡桓谭，字君山。”
对方受宠若惊，连忙回礼：“蜀郡扬雄，字子云。”
桓谭最初被扬雄吸引的，是他作赋的能耐，永始四年（公元前13年），汉成帝带郎官们外出三次，分别前往甘泉宫、汾阴后土、上林苑，扬雄则在当年连作三篇大赋：《甘泉赋》、《河东赋》、《校猎赋》，都文采飞扬，看了的人都赞叹，说自从司马相如后，就再也没过这样的辞赋大家了，但也仅此而已。
倒是桓谭看得深些，瞧出三篇赋里的忧国忧民的劝诫之意，于是他兴冲冲跑去找扬雄，想和他学作赋。
“子云作赋如此精妙，可有何诀窍？”
扬雄倒是自谦：“作赋没有捷径可走，只有熟读千篇辞赋文章，才能作好。”
真是听君一席话，胜似一席话，桓谭以为扬雄藏私不肯说，他倒是诚恳地说道：“我从前随陛下巡游华阴集灵宫，作了一篇赞美王乔、赤松子二仙的小赋，被时人夸奖。但谚语说得好，‘侏儒见一节，而长短可知。’孔子也说过‘举一隅不以三隅反。’如今看了子云文章，再看看我的小赋，才知道自己作赋之能，与子云差别有多大。”
扬雄请桓谭将那篇赋念来听听，等听过后，扬雄捋须笑着看向桓谭：“君山作这赋，没用心啊。”
桓谭一时诧异，扬雄继续道：“君山虽大赞二仙，但不过是堆砌辞藻，未曾发自内心颂扬，我猜猜看，莫非君山……并不信能活千载的神仙？”
这真是一语道破，桓谭对这些神仙故事确实不太笃信，只是皇帝下了命令不得不做，虽然也尽力，但骨子里，还是敷衍了。
他赋没学成，却对本不算熟络的扬雄另眼相看，很多年后，当桓谭站在曲阜鲁王宫，追忆这位老朋友时，觉得只能用一句古谚来形容。
“有白头如新，亦有倾盖如故。是否能做至交，言语之间，便能看出能不能相知，不在乎是陌生人还是故人。”
那时候的他们还满怀理想，积极支持王莽、刘歆的改制，希望改变成哀黑暗的世道，只是都遭遇了巨大挫折：扬雄不善言辞，不懂官场规则，平时又不修边幅，嗜酒贪杯，虽然才情超卓，声名远扬，仕途上却一直不得志，成哀平三代未得升迁，始终是个黄门侍郎，皇帝、权贵们，都只当他是个词官弄臣，对他的劝谏毫不理会，这让扬雄十分失望，甚至放弃作赋，改为研习经学、和天文历法。
桓谭也到了人生低谷，他遇上了类似“滥竽充数”故事里的段子，汉成帝喜欢舞乐，而继位的汉哀帝厌恶音乐，竟撤销了宫廷乐府。单位都没了，桓谭自然也该干嘛干嘛去，乐官们纷纷再就业，桓谭因为人际关系不行，遂被安排做了一个“典漏刻”，工作就是盯着漏刻，校正时间报时，隶属于天官……
气归气，但桓谭那几年也没浪费，虽然对什么神仙方术缺乏笃信，可日月星辰，却是他兴趣所在，他开始白天黑夜一日数次观察着太阳和星宿的运行轨迹，然后把这些细小的变化记录下来，再对漏刻进行核校。
他和谶纬的梁子，就是那时候结下的，每当桓谭发现古人未曾记录的日月星辰运行规律，兴冲冲地想要上奏时，迷信的皇帝却只听信身边公羊派、谶纬家、方术士叨叨“天人感应”，将自然的变化看成是“天”发出的预兆，据此肆意揣测，妄加诠释，闹出许多可笑的事来。
神秘的天文和谶纬搅和在一起，如同一盆清水染进了污秽的墨汁，那广阔无垠的天空、遥远神秘的天体，更加迷障重重。
桓谭只觉得众人皆醉我独醒，唯一让他欣慰的是，他成功将已成好友的扬雄，从错误的“盖天说”，拉到了他笃信的“浑天说”一派中。桓谭对扬雄文采学识十分敬佩，但二人在学术上若看法不同，必是针锋相对，争得面红耳赤。但在那个寒冷的冬日中，桓谭以无懈可击的实证与逻辑说服了扬雄，这对落难兄弟，开始背靠背，与谶纬家和天官们做斗争，朋友之外，又多了“袍泽”之情。
那就是在那段时间里，扬雄完成了《太玄》的创作……
桓谭从过去的回忆里缓过神来，发现全场的群臣诸儒都在看着自己，而他在大呼“扬子云乃儒门自汉之后第一人”后，已经缄默了好一会，是啊，他不止要提出，还得证明！
“诸位可曾看过《太玄》？”
桓谭环视左右，然而响应者寥寥，就算是看过的人，也是因为扬雄是第五伦老师，才连忙去补的，毕竟第五伦为了宣扬先师学问，已经将扬雄著作完成了出版，是市面上最容易找到的——比五经还容易。
即便如此，因为《太玄》始终没被第五伦列入考试内容的缘故，依旧读的人不多，眼下他们只借口说：“子云翁著作艰涩深奥，吾等未能读懂，但颇受震撼……”
岂料桓谭却顺着话道：“然也，读不懂《太玄》，确实是学问不足！”
想当初扬雄呕心沥血，将这本书写出来时，世人皆不以为然，只有桓谭读后拍案叫绝，大加称赞。
现在，他就将自己的赞誉原封不动，当众表明：“玄，就是天道。古代圣贤制定法度，皆以天道为本统，之后才能理清帝王、朝政、人事、法度以及万事万物关系。因此，伏羲称之为《易》，老子称之为‘道’，孔子称之为‘元’，而扬雄称之为‘玄’。太玄三篇，立三体，道尽了天、地、人之道，自《易》后见所未见。”
换了过去，桓谭若如此说，肯定肯定无数人起来和他争辩，可眼下却一片缄默。
第五伦当然知道原因，今天的会议，背后推手、主持者都是扬雄的弟子，作为太学祭酒的桓谭则是扬雄老友，用后世一句话说：“经理，队员，解说，全都是我的人。”这时候问众人谁支持谁反对，谁敢反对？
这种与扬雄生前饱受嘲弄鄙夷截然相反的情形，让桓谭感慨不已，但他不愿意让这件事，单纯是因第五伦权势所压，遂道：“既然诸君不愿说扬子云不足，好，便都由我说了罢！”
“扬子云不善言辞，嗜酒，不修边幅，酩酊大醉后便不辨东西，胡言乱语，此一弊也。”