A „mély tanulás” kifejezés pontos eredete bizonytalan, de több hatás is hozzájárulhatott terjedéséhez:
- Geoffrey Hinton 2006-os cikke a mély neurális hálózatokról népszerűsítette a fogalmat.
- Yoshua Bengio és más kutatók gyakran használták a kifejezést a 2000-es évek elején.
- Néhány nyelvtudós összefüggésbe hozza a kognitív pszichológiában használt „mély szerkezet” fogalmával.
- Megjelent módjaként a több rétegű neurális hálózatok megkülönböztetésére a hagyományos, mélyebb gépi tanulási modellektől.
- A számítási teljesítmény fejlődése, különösen a GPU-k terjedése a 2000-es évek végén, megvalósította a mélyebb hálózatok tanítását.
Ma a „mély tanulás” a gépi tanulás azon ágát jelöli, amely sok rejtett réteggel rendelkező mesterséges neurális hálózatokra épít.