就有志气，喜欢读书史。起初被州裹召为主簿，与刺史刘怀珍一起到尧庙祭神，庙裹有苏侯的像。怀珍说：“尧是圣人，却与杂神并列在一起，我想搬掉杂神，怎么样？”祖思说：“苏峻现在可以称得上是四凶之外的第五凶了。”怀珍就命人搬走了那些杂神。

太祖在淮阴时，祖思一听说就自去攀附，任上辅国主簿，很被亲信，参与谋划。授任奉朝请，安成王的抚军行参军，员外正员郎，冀州中正。宋朝开国之初封太祖为梁国公，祖思告诉太祖说：“谶书上说‘金刀锐利的锋刃，齐用来刈割’。现在适合称齐，实可应天命。”听从他的意见。转任相国从事中郎，升为齐国内史。建元元年，转任长兼给事黄门侍郎。

皇上刚即位，祖思奏陈政事说：

《礼》和《诰》是人伦的衣襟和冠冕，是帝王治国的总纲。自古以来开启万物成为事务，一定把教学放在首位。世人不学习，百姓就会忘了正义，悖乱争斗因此产生，祸患因此而起。所以整肃流俗治好国家，没有什么比教化更重要，不能因时势的平安或危险来考虑，也不能以年成的好坏而改变事业。现在无实务的官员，白白受俸禄，三年没有任何政绩可考，九年没有升降的区别。国家储积空虚，民力凋敝。能干和不能干的分不清，泾水和渭水混在一起。应是朝廷面南，大修文教；司农面北，广开武场。中央和州郡藩国，京外的职官，问他们所愿意的，按各自条件学习，各尽所能。每月的供给和下属，像以前一样给足。如有办不好事的，遣回老家。具有特殊本领的，也特殊对待，不受等级限制。士人修养他的学业，定有特殊人才，百姓明白了这样做的好处，怎能不努力呢。

又说：

汉文帝用包扎奏书的布袋集成大块作为宫殿的帷幕，身上穿着黑粗布衣，用皮制的剑鞘佩剑，慎夫人衣裙不拖地，珍惜中等人家的十家一样多的财力，不做露台。刘备用做帐钩的铜来铸钱补充国用。魏武帝嫁女儿，用黑色的帐幕，十个婢女作陪嫁，东阿的妇人因穿绣衣而被赐死，王景兴因为淘米而被讥诮.宋武帝的节俭超过一般人，张妃的房裹衹有碧捎的蚊帐，三齐用偭草织的席，五盏盘盛的桃花米饭。殷仲文劝他养歌伎，他回答“我不懂音乐”仲文说“衹管养来自然就懂了”，又答“我怕懂了，所以不养伎”纵观历代帝王，没有不是因俭约朴素而兴盛，因奢侈华丽而灭亡的。希望陛下像唐尧那样俭约，像虞舜男阵样朴素。寝宫就用白木粗陋地建构，餐具就用陶器土瓢之类。把琼玉做的簪筷之类，视作尘土一样把它们打碎，把珍裘绣服，当作草一样烧了。这就真是风气高过上代，百姓尊崇于后世了。教化虽然施行，但百姓的坏习惯没有革除，应加以辨明，使他们很快达到淳厚。仔细观察朝中人，有的虽用简陋的车子和住房，却有特高的等级；有的住着有雕画墙壁的房子和坐着华丽的车子，而称号却很卑下。玩狗马美色，常违背书理，爱音乐酣饮酒，守住职位不动。要让他们懂得大义方正，又给予告诫和鼓励，那么移风易俗，就不用等到天黑就完成了。

又说：

法律重要，从来是很注重的。所以曹参离开齐相位，衹以狱讼和市集交易两件事相托与后相，其余的话什么也没说。路温舒说：“秦有十种制度都失传了，祇有一种还存在，那就是断案的官吏”实应整肃设置廷尉，加强三官，寺丞狱主，更慎重选人担任，研究熟悉法律，删除繁琐和残酷的。诏狱和两县，一月报告三次，考察情况，欺君枉上的一定会知道。让他们慎重使用刑法，无隗大《易》上所说，宁可失误而不轻易乱用，无愧《周书》上所载。漠代以来研究法律的有家传的特点，子孙世代以此为业，收徒众讲授，达到几百人。所以张、于二姓，在文、宣时代就有声誉；陈、郭两族，在武、明时代就出名。断案没有冤枉，宗族后代旺盛，王公重爵转相承袭，蝉冠紫绶生辉。现在的廷尉律生，就是令史的家世，不是咸、弘那一族，在家裹缺乏训导。刑法不施，还是这个原因吧。如仔细选择忠诚的人让他们学习法律，试用中有好的，就任为廷尉的部属。如职务世世在他家族中选拔政绩却不好的情况是少有的；废弃他的职权却想他办好事，没有这种事。像刘累那样守着家传术业，厨子都不缺龙肝做菜，这是断然可知的。

又说：

音乐感动天地鬼神，使人情性正大，使人伦建立，那意义很大了。据查前汉人户VI有千万，太乐伶官才八百二十九人，孑L光等人奏请去掉不合礼法的四百四十一人，修正乐律确定人员，衹设置三百八十八人。现在户口不足百万，但是太乐雅、郑，元徽时查检就有一千多人，后堂的杂伎，不在那数目里面，浪费劳力，伤风败俗。现在想要改邪归正，没有什么比废除蓄伎更重要。朝廷衹设钟帘、羽戚、登歌罢了。如此，就会使职官的供给充足，国家恢复淳朴的风气了。

又说：

谈论儒学的把道德教化作为根本，讲法制的人把严厉作为根本。道德教化是太平时代的美味佳肴，刑法是治理乱世的药石，因而把教化比作雨露，把法律比作风霜。因此有羞耻之心而且有规矩，是恭敬谦让的枢纽；令行禁止，是治国的关键。这样说来那么天下大治，衹是明赏罚罢了。赏不在多，就怕不平均；处罚不在重，就怕用得不恰当。如果甲的勋劳少，乙的功劳多，赏赐了甲却没有赏给乙，天下一定有未受到鼓励的人；又假如丙的罪重，丁的罪责轻，处罚了丁却赦免了丙，天下一定有不悔改的人。这就是白白地进行了赏罚，对于鼓励人劝阻人都不起作用。假如被惩罚的是一贯受宠幸的臣子，受奖赏的是君王的仇人，杀了一个人却使万国惊恐，奖赏了一个平民却使天下都喜悦。

又说：