Le père de Marcel, Algérien, est originaire de Sidi Aïch plus précisément du village "leflaye" en Kabylie (l'orthographe Berbère de son nom est Marsel Muluği), exerce le métier d'agriculteur,
Il participe à la vie artistique associée au Front populaire de 1936, et vit en semi-clandestinité
pendant la seconde guerre mondiale. Il racontera son expérience dans le livre Enrico en 1945 qui reçoit le prix de la Pléiade.
En 1938, il apparaît dans le film de Les Disparus de Saint Agil de Christian Jacques
Dans les cabarets en vogue, il chante Boris Vian ou Jacques Prévert, interprète son rôle dans le film Eaux troubles de Henri Calef en 1949 et participe à Boule de Suif (Christian Jacque, 1947) Nous sommes tous des assassins (André Cayatte, 1952). En 1958, il fait sa dernière apparition au cinéma dans Rafles sur la ville de Pierre Chenal et dans un film hispano-suédois, Llegaron dos hombres.
Jacques Canetti, célèbre agent artistique et patron du cabaret les Trois Baudets entraîne Mouloudji vers le succès. Il lui fait enregistrer Comme un p'tit coquelicot qui obtient le Grand Prix du disque 1953
Louise Fouquet, dite Lola, est son épouse et son agent artistique de 1943 à 1969. Il a deux enfants : Grégory avec Lilia Lejpuner en 1960 et Annabelle (elle-même interprète de plusieurs chansons dont Fuis Laurence d'Arabie durant les années 80) avec Nicolle Tessier en 1967. Lilianne Patrick est sa dernière compagne.
En 1976, il enregistre avec l'accordéoniste Marcel Azzola une anthologie du musette, Et ça
tournait. En 1980 il sort un album Inconnus Inconnues et donne d'innombrables concerts à travers le pays dont les médias se font rarement l'écho. Fatigué, il consacre plus de
temps à l'écriture et à la peinture, ses anciennes amours. On le retrouve sur scène en 1984 à l'Élysée Montmartre.
A 70 ans, en 1992, une pleurésie lui enlève en partie sa voix. Cela ne l'empêche pas de préparer un album qui n'aura cependant pas le temps de voir le jour. En mars 1994 il est invité au
festival Chorus des hauts de Seine en région parisienne pour un hommage. Puis il donne un ultime récital près de Nancy en avril.
Il s'éteint le 14 juin 1994 alors qu'il avait de nombreux projets en route : la suite de ses mémoires 50 ans après le premier volume et un nouvel album. Il est enterré au cimetière du père Lachaise à Paris.