Rasens förfäder var de romerska legionärernas tross- och tränghundar, vilka i sin tur härstammade från hellenernas gamla stridsdoggar. Vad rasen kallades för på den tiden vet man inte, men genom studier av avbildningar har man kunnat konstatera att romarenas krigshund är stamfader till dagens rottweiler. Den var dock större och grövre än dagens rottweiler.

Genom historien vet man var romarna drog fram i sydtyskland och än idag finner man att rottweilern är mest utbredd i de trakterna. Staden Rottweil var ett medeltida centrum för handel med boskap och det är staden Rottweil som gett rasen sitt namn.

Rottweilern har under lång tid kallats för slaktarhund - Rottweiler Metzgerhund. Metzger betyder slaktare, även långt in på 1900-talets början. Många av boskapsägarna var nämligen även slaktare. Den romerska krigshunden hade numera fått andra arbetsuppgifter, att driva och vakta boskap. Rottweilern användes även till jakt på vildsvin och till draghund.

Två gånger per år ägde stora marknader rum då slaktare och boskapshandlare samlades med sina boskapshjordar. Djuren drevs till marknadsplatserna längs vägarna och rottweilern visade sig vara en förträfflig boskapsdrivare. Rottweilern skulle förutom att driva boskapen även vakta hjorden mot rovdjur nattetid.

Det var nödvändigt att rasen var besatt av mod, skärpa och kamplust De nedärvda krigshundarnas egenskaper kom nu väl till pass. Det var ett mycket ansträngande liv för hunden vilket innebar att kropparna och karaktärsegenskaperna utvecklades. I och med förbudet under senare delen av 1800-talet att driva boskapen efter vägarna för svann den tidigare så vanliga slaktarhunden från Rottweil. År 1905 lär det endast ha funnits en tik kvar av rasen i staden.

När man under 1900-talet sökte lämpliga polishundar, provades även rottweilern. Det visade sig mycket snabbt att rottweilern var väl lämpad för polisarbete. År 1910 blev rasen officiellt utnämnd till polishundsras i Tyskland.