孔子有许多弟子。其中有一个叫宰予，能说会道，利口善辩。他开始给孔子的印象很好，但后来渐渐发现，他既不孝敬父母，也没有仁德，而且十分懒惰，白天睡大觉。孔子说他“朽木不可雕”。后来宰予参与作乱，被杀死。
孔子另有一个弟子叫澹台灭明（字子羽），长得体态不雅，相貌丑陋，孔子开始认为他资质低下，不会成才。但他从师学习后，回去就致力于修身实践，处事光明正大，从来不去巴结公卿大夫。后来，追随他的学生有三百人，他的声誉传遍四方。
孔子听说了，感慨地说：“我凭言语判断人的品质，对宰予的判断就错了；我凭相貌判断人的品质，对子羽的判断又错了。”
“以貌取人”是指用自己的观念来评判事物。