当然，赵源想要从十三行入手，就必须要足够了解目前广州十三行所面对的内外困境，这样才能真正找到解决的办法。
在潘正炜看来，主要有两方面的缘故，一是粤海关对于行商的压迫和责任转移，二则是鸦片战争以来越发强势的外商集团竞争。
康熙二十三年，清廷正式开放海禁，特设粤、闽、江、浙四海关，而到了乾隆二十二年就关闭了其中的闽、江、浙三关，仅仅留下了粤海关对外贸易，而在鸦片战争前，粤海关并不直接管理来粤贸易的外国商人，而是通过特许商行十三行进行管理，这也奠定了十三行的特殊地位。
当然，随着鸦片战争结束后，十三行垄断对外贸易的制度被废除，也就使得十三行失去了最大的优势。但与此同时，粤海关对于行商的敲诈勒索却始终没有停止，其中更是涉及到多种名目。
首先，粤海关常常借征收税饷及“规礼”名目敲诈勒索，其中名目更是多如牛毛，比如1801年，粤海关勒令加征货物税饷有294种，同年，行商每年备贡，连嘉庆皇帝的五十岁大寿，行商也需要进贡12万两寿银，60岁大寿须进贡13万两寿银；
其次，粤海关针对行商们定下了一百多项规礼，其中各项规礼加起来就多达十余万两，以致于后来英国商人洪任辉向朝廷投诉粤海关勒索“规礼”的腐败行为，引起了广泛的热潮。
再其次，粤海关还常常借捐款赈灾的名义敲诈勒索，像曾经的粤海关监督佶山曾勒索逼迫行商第一首领、万和行的蔡世文破产，以致于蔡吞服鸦片自杀，就连后来潘家也被勒索过，要求行商首领潘有度毫无理由的捐款五十万两银子。
其中最有名的，便是怡和行首领伍秉鉴，为了求得一份平安，接连从1801年至1843年，不得不向官吏贿赂和送礼，前后共达一千六百余万两，甚至在鸦片战争结束后，还被勒令旧行商偿还条约规定的外商债务三百万两，其中伍家就要单独承担一百万两。而在伍家出了这一笔前后，粤海关却仍然没有放过他，继续勒逼伍家偿还烟价余款，导致伍秉鉴含恨而亡。
可以说，这样长期持续的敲诈勒索在行商中是时长发生的，行商们为了保住身价财产，甚至还创设行佣基金，即从各行商进出口货物交易中抽收款项，专门用来应对官府的勒索，而这一笔银子后来又被官府挪走了。
即便如此，行商们的破产也是接二连三，像裕源行、万成行、会隆行、达成行以及福隆行都为此破产，就连身价厚实的潘家还有卢家都曾经一度停业，像早年间开业的二十六家行商，到了1801年仅有8家开业，1829年仅存7家，其他大部分都破产倒闭。
除了粤海关的勒索以外，西方外商大规模进入中国，他们大批来到广州，用各种方式展开竞争，使原已极狭小的西方工业品市场更为拥挤，又扶植行外商人与行商抗争，给行商们的经营也带来了重大的困难和损失，甚至连东印度公司也阻挡不住自由商人的竞争，竞争之激烈残酷由此可见一斑。
后来鸦片战争爆发以后，清政府下令断绝中英贸易，广州十三行因此失去了主要的交易对手，洋货来源寥寥，而后制定的《江宁条约》，更是让广州十三行逐渐成为历史名词，而国际贸易的物流中心也渐渐被香港和上海所取代。
谈论起这些辛酸往事，潘正炜这样经历过风雨的老人都忍不住老泪纵横，他回想起当年潘家被朝廷压榨，被外商们围剿后，导致同孚行不得不停业，心中都极为不甘，后来潘家之所以转型，从商贾之家转入仕途，便也是存着这般心思。
“秀山，老夫倒也不是托大，汇丰行发家太快，以致于粤海关的人还没有特别重视，亦或者他们存着别的想法，但是将来迟早有一天，他们会找到你，到了那个时候，哪怕是耆英，只怕也很难护住你的汇丰行。”
潘正炜轻轻叹了一口气，道：“若是真能打造出一个这样的工商同盟会出来，老夫愿为你奔走，相信他们那些还在的家伙，总能给老夫一点薄面——只是接下来的路，还得你自己走。”
赵源并没有多么开心，他的心中已经蒙上了一层阴影——潘正炜的这一番话，无疑于点出了他面对的真正对手，那就是大清朝。
大清皇帝的确距离广东很远，但是放在广东的粤海关监督，无疑就是一条饿狼，时时刻刻盯着广州的行商们，只要有机会，他们就会冲杀来撕咬一口。
赵源已经明白过来，他眼下所面临的情况其实都是一体两面，他需要发展工商业，来积蓄力量，但是在这个发展的过程中，毫无疑问也会得到朝廷的关注，进而导致朝廷提前动手，将他发展的果子给提前摘掉。
一想到这里，赵源顿时有些为难，太平天国运动还有五年时间才会爆发，直到那时候清廷才会将目光转移出去，可是现在却怎么办？
赵源不是没有想过提前举事的可能，但是一想到提前举事将会面临全面的反扑，他心中就有些担忧，说起来，他赵源也不是圣人，自然不想做为他人嫁衣裳的伟大事业。
忽然，他想起来了郑芷和洪仁玕，或许可以利用他们来折腾折腾，至少先为他转移转移注意力，至少不能让官府一直盯着自己的举动。