上世纪三四十年代，守卫大崮山的部队是山东纵队的大崮山独立团，日军向该阵地发起多次攻击均未能得逞。1940年冬，八路军在山东省沂水大崮山的秘密军工厂因叛徒出卖遭到日军第六混成旅冈田联队的偷袭。经殊死拼杀，守卫大崮山的八路军独立团全部阵亡。兵工厂厂长朱南命令炸毁兵工厂，在掩护工厂技术人员撤退的途中被敌人发现被逼跳崖壮烈牺牲，他的妻子陈若水和三个月大的女儿被日军俘虏。
日军得到空山头并不甘心，他们四处搜查兵工厂的技术工人。左北泉擅自行动被姜县长关禁闭，他的搅和打乱了组织的计划。左水泉绰号摘星手，郭局长因行动需要让他加入营救计划，左水泉提出让桑桑和长腿子参加，领导都出意了。
代号叫麻雀剧照
陈若水被刑讯逼供，她拒不交待，日军用牛奶来引诱她，陈若水抱着孩子坚贞不屈。左水泉和长腿子在途中遇上打劫的货郎，两机智地化解危机，这才知道对方用了假枪，货郎跟他们同行。日本军官铃木让厨师田小德给陈若水母女送些吃的，田小德有怒不敢言。
方子山所有的兄弟和峪子村的老百姓都没了，按道理来说日军不可能追赶上，但事与愿违，只有方子山一人逃出敌军追赶。左水泉和大长腿看到方子山被日伪军追赶，两人出手相助，日伪军匆忙逃走，走近前时才发现是方子山，方子山并不领情。
方子山怀疑有汉奸告秘，他劝左水泉放弃救人的念头，方子山对红部十分了解，他愿意和八路军联手杀鬼子。厨师拿着弄来的牛奶求陈若水喂喂怀里的女儿，陈若水喝下后用嘴喂给女儿。桑桑从表姐那儿打听到陈若水和孩子的情况，红部的地形图还没搞到，管事田小德也许能帮忙，左水泉决定一试。
田小德略会书法，彬彬有礼，深得铃木赏识。铃木不久被派去葛庄日军军火库任主管，铃木要求田小德随其前往，并提拔他当皇协军中队长。田小德极不情愿，又不敢断然拒绝。县城。桑桑向左北泉等人汇报陈大姐狱中情况，建议通过狱中同学田小德开展营救活动。桑桑面见田小德，说服田小德帮助八路军营救陈若水，田小德点头应允。但是他建议先把孩子救出来。左北泉认为这个意见很好，决定照此实施。但是田小德向陈若水要求把孩子交给他时，陈若水坚决不肯。桑桑建议说，自己跟陈大姐相熟，如果化妆进去说服陈大姐，才可能完成先救孩子的任务。
左北泉用“狸猫换太子”的计谋来救陈大姐的孩子。田小德帮助桑桑化装成狱中女奶妈，进到了牢里，见到了陈大姐。陈大姐见到桑桑非常高兴，说服她把孩子交给自己，先抱出去。陈若水同意了。桑桑连忙背起婴儿往牢房外走，正在这时，竹林大佐带着几个宪兵走了进来，挡住了桑桑的去路。陈若水发疯地扑上去，被一个鬼子的刺刀刺中，倒地牺牲。事先做好准备的桑桑背着孩子，腰部绑着手榴弹，挟持这竹林向外撤去，鬼子们不敢轻举妄动。红部监狱的大门被关闭，众鬼子举枪围住了桑桑。在外等候接应的左北泉等人听到桑桑喊了一声后，便向红部监狱院内投掷手榴弹。桑桑背着婴儿上了货郎预先准备的马车。竹林气急败坏，命令全城搜寻，一定要消灭这几个八路。鬼子紧追不舍，频频射击。左北泉等人拔枪掩护桑桑，终于在鬼脸货郎和方同山等人策应下，冲出了城门，安全抵达了根据地。
田小德告诉桑桑，日军参谋铃木要求自己跟他去葛庄当皇协军中队长。他不愿意，不想披这个狗皮，所以决定偷偷远走高飞。桑桑听了心里一动，启发他说，你只要是个中国人，披上狗皮，你可以照样办人事，力主他去葛庄。田小德听了桑桑的建议，最后决定跟随铃木中队长去上任。
左北泉面见八路军县长和公安局长，把婴儿交给了交给一个老乡抚养。左北泉非常懊恼，因为任务只完成了一半。郭春林说，组织研究决定，由你们几个成立一个短枪班，专门深入敌后跟鬼子打游击。这个短枪班的代号叫麻雀，麻雀虽小，五脏俱全，说走就走，说飞就飞，来无影、去无踪，个头不大，能耐不小。第一批成员有左北泉、方同山、鬼脸货郎、长腿子四个人。县长说，麻雀班成立第一件事就是去打掉辫子爷。县长告诉大家，经查明，带领鬼子偷袭我兵工厂的幕后汉奸就是辫子爷。辫子爷过去是边区政府委员，他暗中投敌，把我们的兵工厂地点出卖给鬼子，导致兵工厂被摧毁，独立团大批战士，还有兵工厂厂长朱南、厂长妻子陈若水，实际都是死于这个辫子爷手中。
八路军兵工厂的李淞同志被辫子爷杀害。辫子爷的大儿子、国民党沂水县保安队长卜仙元仍然没有归顺日军。春花客栈的女老板春花实际是日军在当地的特高科长中井花子，和卜蓝珠暗中商量，要求卜蓝珠父亲辫子爷给他哥哥写信招降。卜蓝珠满口答应。
日本人一直想招降卜仙元，所以春花才化妆为客栈老板引诱卜蓝珠，通过卜蓝珠诱降卜仙元。卜蓝珠和春花来到卜仙元的保安大队驻地，让卜蓝珠去说服卜仙元，卜仙元怒斥弟弟，不该去当狗汉奸，尤其是不该偷袭八路的兵工厂。卜蓝珠来说服卜仙元，被卜仙元骂走了。
卜仙元带着伪军骑马而来，赶到卜家大院，他指责父亲不该去做汉奸。辫子爷说，我都是为了我们的家产，日本人连咱们首都都拿下了，国军跑得不见了影子，已经亡国了。父子俩激烈辩论，谁也说服不了谁，卜仙元起身走掉。
铃木中佐带着田小德前往葛庄军火库赴任。左北泉、方同山等人来到卜家大院，水井边，左北泉打量着淹死李淞的那口井，决定血债血偿，冥思苦想，设计要捉拿辫子爷。鬼脸货郎出了主意，大家想方设法找到了辫子爷的手下花条子。
