Kaverista on ollut vaikea ottaa selvää. Suomen sukukielissä kaverilla ei ole kaveria: sana esiintyy vain suomessa. Kaksi eri selitystä sanan alkuperästä on ollut tarjolla.
Aiemmin pidettiin todennäköisempänä selitystä, jonka mukaan kaverissa kaksi sanaa, kamraati ja toveri, olisivat sulautuneet yhteen.
Luultavampaa kuitenkin on, että kaveri on tullut aikoinaan meille Tukholman alamaailman kielestä, jossa sanalla khaver tai kaver on kutsuttu muun muassa (rikos)kumppania. Sana periytyy jiddišistä ja sitä kautta edelleen hepreasta. Helsingin slangissa sanaa on käytetty 1900-luvun alusta lähtien, mutta jo sitä ennen se mainitaan Elias Lönnrotin suomalais-ruotsalaisen sanakirjan lisävihossa vuodelta 1886. Sanan lähtökohtaan viittaa lisävihossa sille annettu merkitys ’tjuv’ eli ’varas’.