随笔

我怀疑今天遇见了衰神。午前跑的事儿都挺有成效，按计划只早不晚，天气没有恶化，心情也算积极。然而下午见到一位出尔反尔的人，接下来运势气场全变了，我整个感觉是脑壳疼血压高声嘶力竭，一连串的不靠谱都随之暴露出来，越来越抓马，我又完全停不下来争个明明白白，那个感觉，怎么形容呢：
你揪过碎布的边沿吧，织线会脱落出来。有一种疏松的网布，用在刷墙时平铺在腻子里，以增加稳固性，白色的腻子膏在网布上一遍遍刮好晾干，再一遍遍刷上黑色的墙漆晾干，最后获得一个崭新平整干净的黑墙面。突然有一天，你在墙面上看到一个小小的、若隐若现的、几乎不可见的线头，但你就是看见了，你就去轻轻揪了一下，一截线被拉出，伴随着原本附着在上面的黑漆的崩出，在黑色墙面划出一道露出白腻子的沟痕，线头随之变成了短线，你企图拉断，狠狠一揪，线没有断，黑墙上崩出一条更长更醒目的白裂痕，愕然，你无法弥补却也无法收手，继续拉拽，甚至后来顺着裂痕找到更多条经纬线，开始疯狂的撕拉，心情混合着把这面墙完全破坏掉的狂躁，和也许能把它彻底扯成纯白色的妄念！这件事只有到你彻底绝望崩溃还不算结束，你会在情绪稍平稳后，默默连夜重新铲墙皮重新刮腻子重新刷墙漆，一遍遍用红眼睛烤着它干。

最近和几个学生有过几次有趣的对话，值得记录一下。

有个学生跑来找我说现在发文章太卷了，所以想在主要的项目之余搞个副项。说想赶紧发文章早点毕业。

我跟她说发文章这件事情和毕业并没有直接关系。从一个方面来说，如果你是老师或者任何supervisor，你的学生或者下属产出不好，最符合经济学原理的做法应该是赶紧让他/她毕业（裁员），而不是用延期毕业来惩罚学生或者下属。恰恰相反，如果我不让你毕业，原因只可能是觉得你的博士训练还没完成，别出去丢导师和实验室的人。所以导师没有任何理由因为你发不出文章这件事本身不让你毕业。作为我的要求，希望你在答辩的时候至少有三个独立、但相互联系而且层层深入提高的工作。所以不要去想毕业不毕业的事情了！先把自己的科研做好。

第二件事情也跟发文章有关。有个学生跑过来说现在在做的东西工程量很大，但好像很难总结成一篇传统的文章。即使能写出来，也担心没有合适的地方发表，或者不能发表那几个顶会上。我问他说你觉得你做的这个事情你觉得意义大么？他说他觉得意义很大。因为这是一个基础的科研framework和infrastructure。将来很多人可以使用，促进这个领域的一些科研的发展。我说那就行了。你觉得有意义，就去做就好了。没地方发表你就开源了之后放ArXiv。没人要求说博士期间的工作一定要正式发表在顶会上。也不是只有在顶会顶刊上发表的工作才是好工作。

第三件事是有个毕业后在学校工作的学生跟我说压力很大。总觉得别人的工作做的好，也总羡慕别人的客观条件比如学校排名、内部和同事支持、以及学生质量等等。我说这个没必要。人总是这山望着那山高。而且你努力爬到了更到的地方，看到的一定是更广阔的风景和更高的山，永无止境。即使你在一个领域做到了最顶层，你也可能会羡慕其他领域的机会。这归根结底是自己的心态问题，不是个客观环境和对比的问题。

昨天在马里兰大学参加NSF和IEEE举办的AI论坛，有几个有趣的讨论，记录一下。

第一个是有关Sustainable AI（可持续人工智能）的。主持人问到我们堆了那么大的算力来提高一点点性能是不是真的值得，是不是要考虑对于环境（比如二氧化碳排放）的影响。我回答说我相信公司不是傻子。不会去做无意义的事情。如果这点性能带来的收益不足以补偿所需要的成本，公司才不会去做。单纯靠口号是不可能让公司主动放弃这方面的努力的。就好像制造业的环境保护一样，需要政府监管。

第二个是有关数据的。主持人问我们数据越来越贵，我们真的需要那么多数据么？是不是可以找到什么方法减小对于数据的依赖。我回答说这个是大家一直在做的事情，做过很多尝试，比如提高低维模型的表达性，提高数据采样的代表性，或者采用合成数据。但迄今为止，既然我们所采用的深度学习模型主要的功能就是从数据里找规律，海量的数据仍然是需要的，而且是最直接的提升性能的办法之一。在这里主持人追问了一句，说研讨会上有人提出人类就不需要这么多数据来完成各种复杂科研活动，你看我们有模型，有公式。我回答说这个想法很好，我就问一句：模型和公式最开始是从哪里来的？肯定不是天上掉下来的。

第三个问题和第二个问题有关，是关于模型可解释性的。有人问说AI模型再大，但仍然不具备推理能力，不算智能。我回答说我对这事情其实最近有怀疑。拿推理这事情来说，我们以为的推理是建立逻辑线条：从1到2，然后从2到3，最后到N，和柯南一样。整个过程严丝合缝，可解释性很强。但其实从i-1到i这个过程，未必一定有很强的可解释性，甚至可能我们的解释都是错的。但不妨碍整个逻辑链条的建立。比如你碰了油瓶一定会倒，这个你见得多了（训练数据多了），自然就能得出推断碰油瓶->油瓶倒。但至于是不是重力引起的，不重要。而碰油瓶到油瓶倒这个关系链接，在人脑的活动里很可能并没有一个想象中的简洁的显式表达，也许和神经网络的各种（无法明确解释的）机制差不多，比如MLP或者attention model之类。

接着的第四个问题是模型的可靠性问题。有人问说如果没有这种显式表达，我们怎么保证模型的可靠性和安全性。逻辑控制系统都有明确的决策树，我能读懂，我才放心。我说我觉得你想要的很可能不是可解释性，而是模型的确定性（determinstic）或者可预测性（predictability）。其实最早的控制系统不就是deerminstic的么？后来发现很多东西得加上概率，有了随机过程，具有各种概率，才慢慢的无法确定解释了。但模型的可靠性仍然在一定程度上可以量化和验证。而且这个东西和具体的应用（domain）很有关系，我最近参加了美国National Academies （美国科学院、工程院、和医学院）下面一个有关Safety Criticality of AI （人工智能安全重要性）小组的讨论，希望能够就这些问题出一个白皮书。

这些天马行空的讨论都挺有意思的。