在人类对自然界诸多现象无法用科学依据加以解释时，对于与他们生活有密切联系的东西，不论是有益或有害，产生了或惧怕，或崇敬的感觉，便对某物产生了崇拜，这便出现了原始的图形。从母系社会起，每个部落都用自然界中的某一事物作为本部落的名称，在长期的演变过程中，原始人类便将它视为自己的保护神，认为它与部落的居民有血脉的关系，是自己的亲族或先祖，从而把它们看成本族的祖神。当人类社会发展到氏族一胞族一部落一部落联盟一民族时，自然图形形象，就成为一个集团区别于其他集团的根本标志，成为集团的象征。当这种图形被描绘成一种徽帜时，这就产生了原始的图形艺术。
土家族曾有过多种图腾崇拜，比如巴人崇白虎，乌蛮崇黑虎，土著先民崇拜蛇、鹰、马等。虞君时期，巴人视白虎为图腾，他们以人祠白虎足以见得其对白虎的崇拜之情。如今，土家族也十分崇奉白虎神，这在鄂西清江流域的土家族中表现尤为突出，他们自认为是虞君之后。由于先祖虞君死后魂魄化为白虎，那么他们就是白虎之后。在他们的思想中，白虎既是自己的祖先，又是他们所共同崇奉的图腾标志。在虞君崇拜的基础之上，还衍生出向王天子崇拜，这在清江流域表现突出。当地流传着“向王天子吹牛角，吹出一条清江河”的俗语。
虽然目前土家族人一致崇拜白虎为图腾，但是在历史上不同地区的土家族人，他们所崇拜的图腾历史上也各不相同。我国学术界现在普遍承认土家族来源于古代巴人，而巴人是以蛇为图腾的原始部落。后汉许慎《说文解字》中记载“巴，蛇也，或曰食象蛇”，由于远古时代的族群都以本族图腾为族名，可见古代巴人是以蛇为图腾的。这一点在《山海经》中也有论证，《山海经·海内经》记载“西南有巴国，太眸生咸鸟，咸鸟生乘厘，乘厘生后照，后照始为巴人。”太眸即为伏羲，伏羲在神话传说中与女蜗为兄妹，皆为人首蛇身的神物。现代学者认为伏羲与女蜗为两个以蛇为图腾的原始氏族部落，而根据山海经记载，巴人的始祖后照则为太眸(伏羲)一族传承而来，巴人始祖以蛇为图形则不足为奇。这种“蛇”的图腾崇拜虽然之后被“白虎”图形所取代，但是在现代的土家族织物中仍能找到这种图腾所遗留下来的“大小蛇花”图形，象征着远古时代部落的生殖崇拜。
在蛇的图腾崇拜之后，土家族的图腾进行过一次由蛇到虎的反转。白虎崇拜，主要是因为土家族人一方面认为白虎是自己民族的守护神，另一方面则认为是虞君的化身。以虞君为界，前后迥异。从虞君以后，巴人后裔之一的土家族认为虞君死后魂魄化为白虎，土家族的图腾崇拜就转换为虎图腾崇拜。土家族白虎图腾是在生物崇拜的基础上逐渐分离出来的，“魂魄化为白虎”一说，是灵魂不死观念的体现，说明土家人相信万物有灵的说法。根据《后汉书·巴郡南郡蛮》记载，“巴郡南蛮本有五姓”，分别为巴、樊、潭、相和郑氏，“皆出武落钟离山，其山有赤黑二穴，巴氏之子生于赤穴，四姓之子皆生黑穴”，他们过着“未有君长”的原始共产主义生活，但是根据记载我们可以看出巴氏在五姓之中独占赤黑二穴的赤穴，实力可见一斑。而后巴氏之子巴务相因为拥有“掷剑于石穴，乃独中之”和“乘土船，能独浮”的本领，被推为五姓部落的酋领，尊为虞君，后来巴氏虞君的势力逐渐发展，便率领五姓沿夷水(今清江)向东发展，到盐阳(今盐井寺)，射杀征服了盐阳女部落，后又向川东扩展，控制了这一地区，发展为一个虞君时代的巴氏族。而且，更为重要的一点是，白虎本身的意义所指代的战神、杀戮之神，这主要是因为白虎的凶猛与兽中之王有关系，而在山海经中，《西山经》记载孟山，其阴多铁，其阳多铜，其兽多白狼白虎，其鸟多白雄白翠，还有鸟鼠同穴之山，其上多白虎、白玉「3]。可见，白虎作为古代巴人想象中的神兽，也是原始民族图腾崇拜的遗迹。而在《后汉书·南蛮西南夷列传》详细记载了巴人崇拜白虎之来源，该书记云:君死，魂魄世为白虎，巴氏以虎钦人血，遂以人祠焉”，于是，巴族先民中有了每年以人头来祭祀白虎的习俗，秦代之时，白虎夷还活动在春蜀巴汉地域之间，故《后汉书》记载:“白虎常从群虎，数游秦蜀巴汉之境，伤害千余人”，我们从《后汉书》中，可知书中记载的“白虎”，不是动物界中的白虎，而是以白虎为图腾的白虎夷。所以，唐代卢求《成都记序》一书记载更明确:“昭襄王时，白虎为患，盖虞君之魂也”。而在土家人眼中，白虎又分为一种叫行堂白虎，一种叫坐堂白虎。所谓的坐堂白虎指白虎坐镇厅堂，威风凛凛，是要“敬”的;而行堂白虎指的是白虎破门而入，凶恶无比，是要“赶”的。因此，在土家族风俗中就有了敬白虎与赶白虎两种风俗习惯。
在这段历史发生的时期，是中国古代原始社会由母系社会向父系社会的转变，这段记与后汉书的历史，很可能是虞君率领男性部族对于女性统治社会的反抗，虞君打出的白虎旗号在推翻女性统治之后取代原本的蛇图形而成为巴人的新图形。在白虎图形之后，巴人的社会文化稳定下来，由于地处偏远，文化并不流通，巴人的白虎图腾得到保存一直到土家族人完成了继承，沿用至今。