随着五四运动的爆发和胜利，随着马克思主义在中国的传播及其同中国工人运动的初步结合，建立新型的工人阶级革命政党的任务被提上了日程。
1920年初，李大钊、陈独秀等开始了建党的探索和酝酿活动。4月，经共产国际批准，俄共(布)远东局海参崴处派维经斯基等人来华，了解中国革命的情况，并同中国的革命组织建立联系。他们先在北京会见了李大钊，后由李大钊介绍到上海会见陈独秀，讨论建立中国共产党的问题。从5月开始，陈独秀邀约李汉俊、李达、俞秀松等人多次商谈建党问题。8月，陈独秀在上海成立了中国共产党的发起组。10月，李大钊在北京建立了共产主义小组。接着，在湖南、湖北、山东、广东等地相继建立了共产主义小组，同时在法国和日本也由留学生中的先进分子组成了共产主义组织。各地共产主义小组建立以后，开展了多方面的革命活动，广泛传播了马克思列宁主义，统一了建党思想，1920年9月，上海发起组把《新青年》杂志(从八卷一号开始)改为党的公开刊物，这是中国共产党历史上第一份公开出版的刊物;同年11月，又创办了《共产党》月刊，在全国主要城市秘密发行，这是中国共产党历史上第一份党刊。各地还建立了社会主义青年团，发展了一批团员，青年团成为党的有力助手和后备军。
1921年6月，共产国际派马林等到上海。他们建议召开党的全国代表大会，正式成立中国共产党。上海党的发起组在李达的主持下进行了全国代表大会的筹备工作，并向各地党的组织写信发出通知，要求各地选派两名代表出席大会。来自北京、汉口、广州、长沙、济南和日本的各地代表陆续到达上海。
在今天的上海兴业路76号，一幢平凡的石库门老楼，1921年7月23日—31日，来自全国各地的13名共产主义者代表召开了中国共产党第一次全国代表大会。