盘点我跳过的科研天坑，进坑就是半年白干文|白鹡鸰and小轶祝大家新年快

文章图片
文|白鹡鸰and小轶祝大家新年快乐！
去年白鹡鸰花了两个月，刷了八千篇Arxiv ，结果发现很多论文存在一些比较“基本”的常见问题：
研究问题和问题假设存在严重的漏洞，或者缺少充分的相关工作调研，导致所谓的新问题只是新瓶装旧酒。
模型的选择与想解决的问题牛头不对马嘴。
实验设计错误，并没有针对所声称的模型优势来进行实验设计（还试图用不合理的实验分析去强行圆回来）。比如，一篇论文号称自己可解释性强，却拿着精度当指标。
以上本应是研究的基本要求，只有满足了这些条件才能再去讨论一份工作是否有所创新，有所贡献。但现在不少论文都本末倒置了。很多人在科研的过程中，一些最基本的科研要求往往被忽视，更多关注的反倒是“创新”（novelty）和“贡献”（contribution）之类更高层次的要求。殊不知，后者必须建立在前者的基础上。否则，所谓的创新与贡献恐怕只是水中捞月的假象——
“创新性”被替换为“方法够不够花哨复杂” 。为了这虚假的“创新” ，模型被强行塞入无效模块，或是添上意义不大的技巧。
“贡献度”被替换为“有没有刷到SOTA” 。但SOTA有时候也并不能代表全部：或许模型并没有掌握任务所必须具备的能力，只是过拟合了特定的数据集；或许模型的性能提升不是论文提出的核心方法带来的，而只是某个一笔带过的技巧、或者是不公平的比较方式导致的。
Severus曾在往期推文中谈过他对“算法岗”的理解。其中一些观点与我们这里想说的不谋而合。他认为很多毕业生刚进入工业界时，最大的短板是缺少扎实地分析问题的能力，导致方法难以落地。并且吐槽了科研界很多idea的形成过程只是“灵光一现” ，评价方式则“唯指标论” 。其实，做科研何尝不需要扎实的分析能力？不止需要，而且是基本技能之一。只是，忽视这些基本要求，不知从什么时候开始已经成为主流了。
这就像一个歌手，唱歌“是否音准”本应是基本要求， “有没有流传度高的音乐作品”是较高层次的要求。而现在却变成了：基本要求被忽视，高级要求则被“粉丝多少/身价高低”取代。
1科研误解的流行从何而来？
那么，为何会存在这么普遍的科研误解，以致于工业界的大佬会认为：只经历过科研训练的毕业生，往往连最基本问题分析能力都没有？大抵可以归为这样两个原因：
其一， “基本”要求≠“简单”的要求。虽然“扎实的问题分析、相关工作调研充分、解决方法合理、实验设计有针对性”是一篇工作的基本要求，但并不代表这些要求是容易达成的。就像“音准”等等是一个歌手的基本要求，但好的唱功又谈何容易。即使已经具备一定歌唱实力，也难免会有失误的时候。同理，扎实的科研基本功岂是朝夕可得。
其二，研究的思维误区和思维惯性、知识的局限性息息相关，不能一劳永逸地避免。无论是小轶还是白鹡鸰，在刚入门科研的时候，文章开头所提到的坑基本全都踩了个遍。只是有幸碰到了好的引导者，而且经验不断积累，才逐渐能够有意识地去规避这些问题。但是，在某个思维松懈的瞬间，或是出于无法避免的知识局限性，哪怕是已经有一定经验的研究者，仍然可能再次踏入陷阱。
如果身边能有一位有经验的前辈在科研进程中定期讨论，避免踩坑的概率会大大降低一些，也会更快地对科研形成正确认识。这位前辈倒也不必事事躬亲地教，只需帮助识别出一些常见的坑，发出“别跳”的警告即可。遗憾的是，在近年来全民AI的趋势下，许多入门科研的年轻人并没有条件得到这样的指导，只能摸黑前进。投入了大量时间、精力，甚至牺牲健康才完成的工作，却因为从根本上就存在漏洞，使得一切努力都成了泡影。到最后，可能都还没对科研形成最基本的正确认识，就带着误解毕业了。