Le mot yakuza vient des chiffres 8, 9, 3 (prononcés en japonais ya, ku, sa), qui constituent la pire combinaison possible dans le jeu de carte traditionnel japonais oicho-kabu, qui signifie « perdants », « bons à rien ». Les yakuzas sont à l'origine issus des plus pauvres, des exclus de la société.

C'est pourquoi nombre de ses membres préfèrent les noms de gokudo (« la voie extrême ») ou de ninkyo dantai (« organisation honorable ou chevaleresque »)