初到东莞的热情很快被磨灭，张华荣跌入了事业的最低谷。在江西做的是布鞋，而在东莞要做女鞋，且用上了现代化的机器。华坚没有管理人才，也没有稳定的订单，全靠张华荣自己琢磨，很快便负债累累。
1997年年底，张华荣觉得实在是过不下去了。他想到逃跑，想花点钱逃到俄罗斯去。他打了个电话跟家里人商量，母亲吓得睡不着觉，大哥把他骂了一顿。他这才明白，逃跑会连累家里人。张华荣坚持着，机遇终于降临在他的身上。那时台湾商人做鞋过于强大，国外采购商想要压价，要牵制台商，他们需要培植一个大陆老板。世界著名的鞋业贸易商派诺蒙看中了张华荣，第一张订单就给了他30多万双。
到1999年，华坚已崛起为台商的强大对手。台商认为华坚的价格太低，把行情搞坏了。当年东莞的台商开会，大家得出一个结论：“一定要想办法让华坚垮掉！不垮掉会给大家带来伤害。”这已成为东莞鞋业界尽人皆知的故事。
经历了三起三落，张华荣的事业终于步入平稳发展期。2002年1月，张华荣敏感地意识到在东莞生产成本正在抬高，他回到江西，投巨资兴建了赣州华坚国际鞋城，作为华坚集团的生产基地。华坚成了东莞鞋业中自觉进行“产业转移”的先锋，成为中国鞋业界少有的一个成功范本。江西的劳动力成本很低，张华荣将量大的低价鞋转移到江西，量小的高档鞋则在东莞加工。