A "Shiba" a Japán hegyvidéki régióiban található kicsi, kefe fajtára utal. A "Shiba" szót valami kicsi, kompakt vagy rusztikus leírására használják. A Shiba Inu esetében valószínűleg a kutya kis méretére és a vidéki területekkel való kapcsolatára utal.
Az "inu" egyszerűen azt jelenti, hogy "kutya" japánul. Ez egy általános szó, amelyet bármilyen típusú kutyára utalnak, a fajtától függetlenül.
Tehát a "Shiba inu" szó szó szerint "kefe kutya" vagy "kis rusztikus kutya" -ra utal. Ez a név tükrözi a kutya eredetét és annak kapcsolatát Japán vidéki területeivel, ahol tenyésztették.