晚清社会极端封闭保守，但五口通商之后，上海独为巨擘，其开放程度远远超过了中国其他所有的城市，包括最早开放的广州在内。史料记载，咸（丰）同（治）之间，每天停靠上海码头的外轮有三百余艘，上海的外侨人数，不包括外国驻军，有二千名左右，而这些人中有水手、逃兵、流浪汉，以及罪犯、强盗等各色人渣等。他们肤色不同，语言各异，但都为了一个共同目标，那就是要在上海滩这个花花世界捞上一把。上海人管他们叫“牛虻鬼子”，或“西洋瘪三”。这些人为了生计，或为了钱，甘愿拿生命去冒险。
太平军二破江南大营，横扫苏南清军，继之威逼上海。上海的有钱人，包括逃入上海租界的江浙绅商都惊恐万状，出于保护自己的需要，开始雇用洋人。在他们看来，这些洋人显然要比那些不中用的官兵强得多。他们能够使用洋枪，有的还是退役军人，具有一定的军事技能和素养，而且他们的洋身份，也让人另眼相看。因此，在咸丰十年（1859）前后雇用洋人的上海大佬越来越多。起先规模不大，只是看家护院而已。直到洋枪队成立后，这种雇佣性质的武装才声名鹊起。