प्रारंभ में ओलंपिक खेलों का आयोजन योद्धा-खिलाड़ियों के बीच हुआ था। शांतिकाल में योद्धाओं के बीच प्रतिस्पर्धा के साथ खेलों का विकास हुआ। प्रारंभ में दौड़, मुक्केबाजी, कुश्ती और रथों की दौड़ आदि खेल ही इसमें शामिल थे। इसमें सबसे बेहतर प्रदर्शन करने वाले योद्धाओं को कविता और मूर्तियां प्रदान कर पुरस्कृत किया जाता था। चूंकि सबसे पहले ओलंपिक खेलों का आयोजन ग्रीस अर्थात यूनान की राजधानी एथेंस स्थित ओलंपिया पर्वत पर आयोजित किया गया था, इसलिए इसे ओलंपिक कहा जाने लगा।
शुरुआत के आयोजनों में इसमें राज्यों और शहरों के ही खिलाड़ी हिस्सा लेते थे। जल्द ही यह इतना ज्यादा लोकप्रिय हो गया कि ओलंपिक खेलों के दौरान बड़े-बड़े युद्ध तक स्थगित किये जाने लगे थे। ओलंपिक खेलों में लड़ाई और घुड़सवारी सबसे लोकप्रिय खेल थे, लेकिन सुविधाओं की कमी, आयोजन की मेजबानी की समस्या और खिलाड़ियों की कम हिस्सेदारी आदि समस्याओं के चलते इसका आयोजन बेहद कठिन था। इसके बावजूद जल्द ही ओलंपिक खेलों का आयोजन बुलंदियों पर पहुंच गया।
ओलंपिक खेलों का आयोजन बेहद जिम्मेदारी और चुनौतीपूर्ण है। इसमें आने वाले ख़र्चों के अलावा खिलाड़ियों और दर्शकों की सुरक्षा एक बड़ी समस्या है। शांतिपूर्ण और सफल आयोजन के लिए 894 में अंतराष्ट्रीय ओलंपिक समिति की स्थापना हुई थी। इस समिति का मुख्यालय स्विट्जरलैंड में है। अंतराष्ट्रीय ओलंपिक समिति में एक अध्यक्ष, तीन उपाध्यक्ष और साथ कार्यकारी सदस्य होते है। वर्तमान में यही समिति ओलम्पिक खेलों का संचालन करती है।