此时杨聪已经是一个懂事的小孩了，韦氏去世后，杨聪话也少了，整天闷闷不乐，格也变得沉默了起来，除了习武之外，便整天与那条狗在一起，甚至晚上也抱着那条狗睡觉，任凭陆庄怎么哄他，他都郁郁寡，陆庄又是担心又是心疼。

那陆羽对外积极承揽生意，想聚敛财富，一改陆庄以前的法，结果连连丢了几次镖，加上他对众人趾气扬，经常漫骂众镖师，不到一年时间，镖局人心涣散，便四分五裂了，众人纷纷离开了镖局自谋生路。这镖局一解散，杨聪便失去了利用的价值，便成了多余的人了，那陆羽夫妇便把镖局各的房产变卖，把银放了自己的腰包，他们霸占了镖局的所有财产，却把杨聪当佣人看待，呼来唤去，百般刁难，让他吃残羹冷炙，稍有不满便动手打骂。可怜的杨聪有苦无诉、有冤无伸，被陆羽夫妇关在后院里，整天只与那条狗为伴，陆庄和韦氏也许梦也没想到杨聪会遭受如此待。

原来，韦氏见众人许久未归，已经猜到众人遭到了不测，但她是一个识大、顾全大局之人，便在众人面前装笑脸，但内心是无比的悲伤，她日夜忧虑，寝无度，疾病日积月累，越积越多，犹如洪一般，一但爆发便无法收拾，真是病来如山倒。

杨聪一路逃跑，见路越来越荒，竟很少碰见行人，他见陆羽没有追来，才松了一气。那陆羽夫妇清早起床，没发现杨聪的影，便追问下人，才知杨聪昨晚下半夜起来撒便不见，陆羽夫妇见杨聪逃走了，也正合他们本意，可以独霸镖局的财产，便不再理会杨聪的死活了，竟逍遥地享起了福来。却说杨聪逃了北京城，便不知该往何。杨聪举目无亲，走投无路，只得一路往南漫无目标的往前走。他此时心中只有一个目标：那就是逃脱陆羽夫妇的掌，不再受到陆羽夫妇的任意欺辱，因此他心里此时只知尽快离开北京城，生怕那陆羽派人追来，他直到见离北京城越来越远了，这才放慢了脚步。

这样又过了几年，杨聪也变成了一个少年了。也真是“天有不测风云，人有旦夕祸福”这陆庄因年纪已大，加上劳过度，染上风寒竟也病倒了，这一病竟也爬不起来了，他知自己大限已到，不久也将离开了人世，临死前便把陆羽、杨聪两人叫到床前，把杨威等人遇害的经过一一告诉了两人，希望陆羽把杨聪抚养成人。

杨聪经过这几年的打击后，格也了起来，听到了这个不幸的消息后，虽然悲伤不已，也忍住了悲伤，不久这陆庄也恨离开了人世。陆庄一死，杨氏镖局便发生了天翻地覆的变化，这陆羽不比陆庄，父俩简直是天渊之别，陆庄乃忠厚老实之人，办事稳重，对人和蔼，得众人的拥护。而这陆羽乃诈之人，陆庄和韦氏在时，他装成一副老实听话的模样，逐渐取得了两人的信任，陆庄一死，他明白了事情的真相后，便在心中有了坏主意，想霸占整个镖局。

杨聪就这样在镖局里呆了半年多，他再也忍不住那陆羽夫妇的待了，一天半夜里，他趁着陆羽夫妇和其他人熟睡之际，牵着那条牧羊犬悄悄地打开后门溜了镖局，天刚亮他便了城往南逃去，如一只失群的孤雁，一路上慌慌张张，竟不择路。

只是给她开了一些滋补的药，老朽才疏浅薄，已经无能为力了，总还望见谅。”

陆庄知他已经尽力了，便：“有劳大夫了。”那小华佗喝了一会儿茶便告辞了。第二天，陆庄便飞鸽传书召集众人到镖局来，众人知韦氏病危，个个星夜兼程赶到北京来，不几天，众人便齐聚北京城，探望韦氏的病情。韦氏便对众人宣布杨威是替朝廷去西域秘密办事，希望众人齐心协力扶持杨聪，等待总镖等人归来。众人已经知韦氏将不久于人世了，而总镖又漂在外，均难过伤心，都齐声称是。不几日，那韦氏便恨离开了人世。众人一个个悲伤不已，镖局停业了七天，个个前来吊唁，可怜的杨聪哭得死去活来，众人更是伤心不已。

他执掌了镖局的业务后，早已把父亲的千叮万嘱抛到了九霄云外，他欺杨聪年幼，只把杨聪当自己赚钱的摇钱树，把镖局里里外外的人全换成了自己的心腹，再也不理杨聪了，只把他当成一条狗来喂养。杨聪每天除了吃饭之外，便闲聊无事，被关在后园中，他每天除了自己习武外，便成天与那条狗在一起。