中国第一次参加奥运会是在1932年洛杉矶奥运会。当时的国民政府派出了6人代表团参加，其中运动员只有刘长春1人，他参加了男子100米和200米的比赛，报名的400米项目最终弃权。那个年代的条件非常艰苦，代表团坐船漂泊了25天才抵达洛杉矶，结束奥运会之后没有回程的路费，依靠当地华侨的捐赠才得以回国。
现代奥运会于1896年举办首届赛事，中国与奥运会结缘起始于1908年伦敦奥运会，南开大学的学生们观看到1908年伦敦奥运会的幻灯片，感受到极大的震动，于是有学生向《天津青年》杂志投稿提出著名的“奥运三问”。那个年代的中国大地比较乱，虽然多次受到国际奥委会的邀请，但直到1932年才首次派出参赛代表团。
1936年柏林奥运会中国代表团继续参加，派出了更多的代表团人员，参加了更多的比赛项目，其中有李惠堂率领的中国男足。那个阶段的中国大地依然战火不断，奥运代表团虽然得到了更多的支持，但是准备依然不够充分，奥运会上未能取得良好的成绩。1948年中国代表团第三次参加，当时国内的解放战争进入高潮阶段，受多方面条件的限制，奥运代表团同样未能激起水花。
新中国成立之后，1952年的赫尔辛基奥运会得到国际奥委会的邀请。因为时间仓促准备不足，代表团抵达之后赛程已经接近尾声，多数比赛都已经结束，只有游泳运动员吴传玉参加了比赛。紧接着的1956年墨尔本奥运会，由于国际奥委会被西方分裂势力控制，公然做出分裂中国的行径。中华全国体育总会对此表示强烈抗议，直接拒绝参加墨尔本奥运会，后于1958年与国际奥委会断绝关系。
1979年国际奥委会恢复中国的合法席位，由于环境的变化，中国代表团拒绝了1980的莫斯科奥运会，1984年洛杉矶奥运会才重新进入夏季奥运会赛场。1984年洛杉矶奥运会有被误以为是中国第一次参加，其实在新中国成立之前中国就有三次参赛经历，新中国成立之后还有多次奥运会参赛记录。
1956到1972年有五届夏季奥运会，这期间中华全国体育总会与国际奥运会断绝关系，代表中国参赛的是中国台湾地区所派出的代表团，其代表名义是“中国民国”奥林匹克委员会。1971年联合国恢复中华人民共和国的合法席位，“中国民国”奥委会跟着就被各种运动协会逐渐排除，国际奥委会于1976年将其除名。
国际奥委会恢复中国的奥运合法席位之后，中国代表团终于可以大展拳脚，1984年闪耀洛杉矶，开启全新的奥运征程。中国在1988年汉城奥运会遭遇低谷，但很快走出迷途，不断积累和进步，并2008年成功举办北京奥运会。中国台湾地区失去奥运会参赛资格后，多次找国际奥委会协商，后改称为中国台北奥林匹克委员会，作为中国的地区名义参加奥运会。