Jeweils zwölf Mannschaften qualifizierten sich bei den Frauen und Männern für das olympische Turnier. Griechenland war als Gastgeber gesetzt. Die besten drei Mannschaften beim World Cup 2003 qualifizierten sich ebenfalls.
Kontinentale Qualifikationen
Im Dezember 2003 und Januar 2004 fanden in Afrika, Europa sowie Nord- und Südamerika kontinentale Vorausscheidungen statt, deren Sieger in Athen dabei waren. Weitere Mannschaften erwarben dabei eine zusätzliche Chance in der nächsten Qualifikationsstufe.
Die europäische Qualifikation bestand aus mehreren Stufen. Russland besiegte im Finale die Niederlande. Die deutsche Mannschaft schied gegen die Niederlande im Halbfinale aus.
1. Stufe
Im September 2003 spielten acht Mannschaften im K.-o.-System Teilnehmer der nächsten Stufe aus:
In den Halbfinals dieser Stufe siegte Finnland gegen die Ukraine 3:1, und Slowenien besiegte Ungarn 3:0. Gastgeber Finnland gewann das Finale des Turniers gegen Slowenien mit 3:1.
3. Stufe
Das Finalturnier der Europa-Zone wurde im Januar 2004 in Leipzig ausgetragen.
In den Halbfinals dieser Gruppe gewannen die Gruppensieger gegen die Zweitplatzierten der anderen Gruppe jeweils mit 3:0.
Das Finale gewann Russland gegen die Niederlande ebenfalls mit 3:0
Beim Turnier der NORCECA in Caguas im Januar 2004 mit fünf Teilnehmern setzten sich die USA durch.
In den anschließenden Halbfinals gewannen die USA gegen Kanada 3:0, Kuba besiegte den Gastgeber 3:1. Die USA siegten im Finale gegen Kuba mit 3:2, während sich Kanada mit einem 3:2 gegen Puerto Rico einen Platz in der nächsten Qualifikationsstufe sicherte.
Beim afrikanischen Turnier in Nairobi im Januar 2004 nutzten die Gastgeber aus Kenia ihren Heimvorteil und setzten sich gegen Ägypten, Nigeria und die Seychellen durch.
Das europäische Turnier fand im Januar 2004 in Baku (Aserbaidschan) statt. Die deutsche Mannschaft schaffte mit einem 3:0-Sieg im Finale gegen die Türkei die als „Wunder von Baku“ bezeichnete Qualifikation.
In den Halbfinals gewann die Dominikanische Republik gegen Kanada mit 3:0 und Kuba gegen Puerto Rico mit 3:1. Kuba gewann das Finale mit 3:0, während sich Kanada mit einem 3:0 im Spiel um Platz 3 durchsetzte.
Beim südamerikanischen Turnier in Caracas im Januar 2004 nutzte die Dominikanische Republik ihre zweite Chance und gewann vor Argentinien, Peru und Venezuela.
In Tokio (8. bis 16. Mai) gewann Gastgeber Japan das Turnier. Da der Wettbewerb gleichzeitig als asiatische Vorausscheidung galt, qualifizierte sich auch Südkorea. Russland und Italien belegten die weiteren freien Plätze beim olympischen Turnier.
Die zwölf qualifizierten Mannschaften wurden in zwei Gruppen mit jeweils sechs Teilnehmern gelost. Die Vorrunde wurde nach dem Modus „jeder gegen jeden“ ausgetragen. Die besten vier Teams jeder Gruppe erreichten das Viertelfinale. Anschließend ging es im einfachen K.-o.-System weiter bis zum Finale.
In Gruppe A verlor Serbien und Montenegro das Auftaktspiel gegen Polen, blieb danach aber ungeschlagen und sicherte sich mit dem abschließenden Sieg gegen Griechenland den ersten Platz. Die Griechen lagen nur wegen des besseren Ballpunktquotienten vor Argentinien. Mit ebenfalls acht Punkten qualifizierte sich Polen für das Viertelfinale. Für Frankreich und das sieglose Tunesien war das Turnier schon nach der Vorrunde beendet.
In Gruppe B gewann Brasilien die ersten vier Spiele und belegte trotz einer Niederlage gegen die USA den ersten Platz. Dahinter platzierte sich Italien, das zwei Spiele im Tie-Break verlor. Die USA und Russland erreichten ebenfalls mit acht Punkten das Viertelfinale. Australien konnte nur zwei Sätze gewinnen und schied ebenso nach der Vorrunde aus wie die Niederlande.
Im Viertelfinale kam es am 25. August zur Neuauflage des Endspiels aus dem Jahr 2000. Dabei gelang Russland die Revanche gegen den Titelverteidiger Serbien und Montenegro. Der damalige Dritte aus Italien setzte sich gegen Argentinien durch und besiegte im Halbfinale am 27. August die Russen. Im anderen Halbfinale bezwang Brasilien die USA ebenfalls in drei Sätzen. Russland gewann am 29. August die Bronzemedaille. Neuer Olympiasieger wurde Brasilien mit einem 3:1 im Finale gegen Italien.
In Gruppe A gab Brasilien im Spitzenspiel gegen Italien die einzigen beiden Sätze ab und belegte souverän den ersten Platz. Für Italien war dieses 2:3 die einzige Niederlage in der Vorrunde. Die beiden asiatischen Vertreter Südkorea und Japan qualifizierten sich ebenfalls für das Viertelfinale, wobei die Koreaner das direkte Duell für sich entschieden. Kenia konnte keinen einzigen Satz gewinnen und schied ebenso wie Griechenland nach der Vorrunde aus.
In Gruppe B verlor China in fünf Sätzen gegen Kuba, konnte sich aber mit einem abschließenden Sieg gegen Russland den ersten Platz vor den Osteuropäern sichern. Kuba wurde trotz eines 0:3 gegen die USA Dritter vor den Amerikanern. Die deutsche Mannschaft startete gegen Kuba erfolgreich ins Turnier, kassierte dann aber drei Niederlagen in Folge und konnte mit dem Sieg gegen die Dominikanische Republik das vorzeitige Aus nicht mehr verhindern.
Im Viertelfinale am 24. August konnte sich der Titelverteidiger Kuba knapp gegen Italien durchsetzen. Der Dritte aus dem Jahr 2000, Brasilien, brauchte gegen die USA ebenfalls den Tie-Break, während der damalige Finalist Russland gegen Südkorea keine Probleme hatte. China gewann das asiatische Duell gegen Japan und bezwang im Halbfinale am 26. August den Titelverteidiger. Russland qualifizierte sich mit einem 3:2 gegen Brasilien erneut für das Endspiel. Dort unterlag das Team aber trotz 2:0-Satzführung den Chinesen, die zum zweiten Mal nach 1984 olympisches Gold holten. Die Bronzemedaille sicherte sich Kuba gegen Brasilien.