該項制度源於春秋時期的齊國。《漢書·刑法志》記載：“（管仲）作內政而寓軍令焉，故卒伍定虖里，而軍政成虖郊。連其什伍，居處同樂，死生同憂，禍福共之，故夜戰則其聲相聞，晝戰則其日相見，緩急足以相死。”
戰國時，此項制度由於商鞅在秦國變法採用而聞名於世。一人犯罪，鄰里連同受罰。“什伍”是古代戶籍與軍隊的編制。戶籍以五家為伍，十家為什：軍隊以五人為伍，二伍為什。商鞅在秦國變法，始創什伍連坐之法，什伍之中，一家有罪，其餘各家均應告發，否則將連同懲罰。
《史記·商君列傳滲》：“令民為什伍，而相收司連坐。不告奸者腰斬，告奸者與斬敵同賞，匿奸者與降敵同罰。”官吏和有“大夫”以上爵位的人，一般不編入仟伍，即使編入什伍，也不因四鄰犯罪而負連坐之責。
