《浙江新潮》因刊登施存统《非孝》一文被反动当局查封，主编俞秀松、作者施存统被迫离开杭州，赴北京参加工读互助组。但俞秀松很快意识到，现行社会不进行彻底改造，无论工读互助还是新村，完全是一种乌托邦的空想，从而逐渐接受马克思主义，愿做一个推翻旧世界为己任的革命者。南下上海参加《星期评论》工作，自觉到铁工厂做工，与工人交朋友，去工人集中的小沙渡办俱乐部，走与工人相结合的道路。

在上海，新文化运动的左翼已开始走上与工人运动相结合的道路。1920年5月，陈独秀等创议：鉴于当前工人运动急需马克思主义指导，先成立一个马克思主义研究会。陈望道和俞秀松首先参加该会工作。同时，李达、李汉俊、邵力子、施存统、沈玄庐、戴季陶、杨明斋等人参加了该会。这是一个秘密组织，没有纲领，会员入会也没有成文的手续，由陈独秀负责，称书记。主要任务是学习研究和宣传马克思主义。

陈独秀对创建中国共产党的心情是迫切的。1920年7月，他就曾与俞秀松、邵力子、李达等马克思主义研究会成员研究建立上海共产党（即后称上海共产主义小组）的事，并邀请他们做发起人。

同年8月，上海共产主义小组成员在陈独秀住处召开会议。由陈独秀、俞秀松、李汉俊、施存统、陈公培5人制定党纲，推举李汉俊执笔。大家一致推举陈独秀担任党的书记。他们拟定的《中国共产党宣言》上明确规定党的名称为“中国共产党”，提出党的最终目标是：“经济方面消灭私有制，政治方面消灭政权和社会方面消灭阶级”。就这样，一群荟集在沪的革命知识分子，把学习研究、宣传马克思主义的革命活动上升为组建中国共产党的活动，证明这批先进的革命者有着超前的思想精神境界，俞秀松就是其中的一位重要人物。

1920年8月的一天，上海共产主义小组成员相约到陈独秀的住处，李达提议成立青年团组织作为党的助手。大家认为为适应青年的愿望，应尽快成立社会主义青年团组织并一致推荐俞秀松去组织和主持团的工作。在俞秀松撰写的社会主义青年团的章程中，明确规定团的主要任务是研究科学理论，实现自由平等，宗旨是实现社会主义改造和宣传社会主义。1920年8月22日，中国社会主义青年团在上海霞飞路渔阳里6号正式成立，俞秀松为首任书记。

1921年初，上海社会主义青年团就达200余人，全国有1000多人。1921年3月，在上海建立了中国社会主义青年团临时中央执行委员会，俞秀松任书记。

1921年3月开始，上海共产主义小组从“外国语学社”的学员中挑选出20多位团员，分期分批赴苏俄学习，刘少奇、任弼时、罗亦农、肖劲光、汪寿华、曹靖华等是这批学员中的佼佼者。

同年，俞秀松接受少共国际的邀请，出席少共国际在莫斯科召开的第二次代表会，并代表中国社会主义青年团作了专题报告。1922年1月，他参加了远东各国共产党和民族革命第一次代表大会，并受到列宁的接见。同年1月30日至2月2日，又以中国代表团代表的身份参加了远东青年团代表大会。

1922年3月，俞秀松回国，在杭州等地筹建团组织。9月2日，在上海参加团中央执行委员会第16次会议，被选为中央执行委员会书记。

1922年8月，俞秀松以个人名义加入国民党，赴福州参加孙中山领导的讨伐陈炯明北伐军，担任东路讨伐军总司令部参谋处一等书记官，实际任机要工作，并参加广州战役，是我党最早参加军队与作战的军事工作先行者。