En 1858, quelque 20 000 personnes venues de la Californie passèrent par Victoria en route pour la ruée vers l'or sur le continent. De nouveaux commerces virent le jour et beaucoup d'étrangers restèrent dans la région pour s'y établir. Pour la première fois, la population des Premières Nations n'était plus majoritaire.
Bon nombre d'autochtones du Nord vinrent à Victoria pour le commerce ou pour s'y installer, leurs campements s'étendaient le long des rives du havre. En avril 1859, par exemple, il y avait 2 835 autochtones dans des campements à proximité de la ville. Environ 600 d'entre eux étaient d'origine Songhees. Les autres provenaient des nations Haïda (405 personnes), Tsimshian (574), Tlingit de la rivière Stikine (223), Duncan Cowichan (111), Heiltsuk (126), Pacheedaht (62) et 
(44). Victoria était également un centre de commerce pour un bon nombre d'autochtones de l'État de Washington.
En 1862, un homme arrivé de San Francisco en navire à vapeur apporta le virus de la variole à Victoria. La majorité des Songhees étaient vaccinés contre ce virus, mais la variole eut un effet dévastateur sur les autochtones de la côte Nord qui étaient de passage à Victoria. Le commissaire de police Joseph Pemberton ordonna l'expulsion de tous les autochtones de Victoria, à l'exception des personnes « employées par des blancs ». En rentrant dans leurs communautés, les autochtones remportèrent ce virus qui décima la population de villages entiers situés sur le littoral et au bord des rivières de l'intérieur de la province. À la longue, de petits groupes d'autochtones du Nord revinrent à Victoria mais leur influence sur la société et sur l'économie locales ne fut plus jamais la même.
