甘宁去找黄祖的时候，黄祖对他是相当的不重视，甚至有些轻视，因为甘宁出身水贼，在荆州水域一带也颇有名声，在大江之上做着无本买卖，甚至还曾经和荆州水军有过交手，所以黄祖对甘宁是不甚喜欢，但其手下知道甘宁勇猛，所以建议黄祖接见甘宁，因此甘宁才能够与黄祖见面。
甘宁虽然见到黄祖，也表示了自己愿意投靠效力的意愿，但是黄祖对他的态度不冷不热，也不愿意带他去见刘表，可以说两个人的会面有点不太愉快，但因为甘宁的勇猛，所以黄祖最终还是收下甘宁，然而接下来发生的事情却没有表面那么平静。
甘宁虽然投靠了黄祖，但是黄祖和其他一些武将因为嫌弃甘宁的水贼身份，所以都不大愿意理会他，就因为这样，甘宁开始被孤立，甚至他麾下出身于水贼的士兵，也时常被其他武将的部下欺负，甘宁为了大局，常常督促部下，让他们忍耐。
直到有一天，连甘宁自己也忍无可忍，还出手打了几名将领，差点引发严重的冲突，黄祖得知后不问事由，当众责怪甘宁，教训其不好好管教约束部下，其实错的并不是甘宁，而是其他武将，但是黄祖却偏袒他人，处处针对甘宁，最终甘宁忍无可忍，带领麾下士兵离开荆州，想去徐州投靠李元，他也非常后悔当初没有听从李元的话，要是早投靠李元就不用受这种闷气。
甘宁打听到李元正在率领大军攻打庐江的袁术，于是甘宁便从江夏出发，带领数百名部下前往庐江，他走的是水路，因为脱掉刘表军的士兵服侍，穿回原来的水贼服装，所以驻守庐江港的士兵以为是水贼来犯，因此还没等甘宁船只靠岸便使用弓箭射击。
甘宁再三解释自己是来找李元的，奈何驻守庐江的士兵并不相信，无奈之下甘宁只好下令先把庐江港攻下来，于是双方就打了起来，但是甘宁非常克制，知道自己是来投靠李元的，而不是找人家麻烦，所以让手下出手不要太重，因此庐江港的士兵也没有受太多的伤害。
因为驻守庐江港的士兵并不多，只有不到一百人而已，所以很快就被甘宁打下来。就在甘宁上岸后不久，李元和纪灵便率领大军前来，那时候甘宁并没有认出李元，而且看见敌军兵马如此之多，他麾下只有数百人，双方打起来他肯定必败无疑，所以便下令返回船上，打算从其他港口上岸，再去徐州找李元，然而就在甘宁要离开的时候被李元认了出来，真是无巧不成书。
李元听完后不禁大笑道：“哈哈哈哈，黄祖狗眼看人低，不识贤才，真是便宜了我，甘兄，如今既然来了就不要走了，我正要在庐江组建一支水军，奈何一直找不到合适的将领训练统率，你就是最为合适的人选，不知你是否愿意为我效力？”
“李将军，为何待我如此之好？”甘宁有些受宠若惊，他刚来投靠，李元就让他掌控水军，这对他是何等的信任。
“以你才能，训练一支水军可以说绰绰有余，我相信只要给你同样的兵力，黄祖那厮绝对不会是你的对手。”李元对甘宁的能力非常重视。
“难道李将军不嫌弃我曾经当过水贼吗？”甘宁曾经在黄祖那里受过歧视，担心在李元这里也会有这样的遭遇。
“甘兄莫要担心，正所谓英雄莫问出处，我李元岂是眼光短浅之人，我用人向来只求才能而不问出身，只要你有能力，出身再卑微我也不会嫌弃，你可知道刘辟，管亥等人，他们也曾当过黄巾军，如今在我麾下做事，我从来没有嫌弃过他们，所以你尽管放心好了，只要尽忠尽职，我李元会坦诚相待。”
李元的话让甘宁心悦诚服，这样的主公才值得他尽心效力。