首先在材料的取舍上，有些地方缺乏科学的态度。书名既为《古今文人轶事》，当然收集改编的应当是不经正史记载、零星未经汇集的古今文人事迹。这就有一个取舍的问题。对于“野史”的记载，应该有一个科学分析的态度。至于小说中的故事，更应慎重，不要随便当做历史知识介绍给读者。《轶事》恰恰从小说中引了不少没根据的材料。
例如《一石之功》一篇，无疑是据《醒世恒言》中的《苏小妹三难新郎》改编的。秦观的妻子并非苏小妹，这在清人平步青的《霞外<SPS=2230>屑》中已经辨得很详细了。清人的《曲海总目提要》中说：“‘闭门推出窗前月，投石冲开水底天’对句警拔，世俗流传，以为嘉话，然非事实也。”《醒世恒言》是小说，写这些是无可非议的，《轶事》一书把这作为文人的轶事，就不妥当了。其他如引自《警世通言》的《吹落黄花满地金》，引自《儒林外史》的《王冕学画》，引自《三国演义》的《曹植七步成诗》，都有类似情况。这些轶事如果要写，也得别据史籍，不能照小说来写。
《轶事》的编者对野史的记载也缺乏科学的分析态度。如《人面桃花》记人死而复活事，《赵明诚梦书》写据梦择妇事，这些都应该在选材时慎重地考虑一下的。
其次，就是作者在改编时，出现了不少关于文学知识、历史知识的错误。
例如《有趣的巧合》中写道：“诗人刘希夷构思一首诗叹息时世的流逝，他看见庭院花落的景象，偶得两句云：今年花落颜色改，明年花开复谁在。”“不一会，又得两句，觉得不错：年年岁岁花相似，岁岁年年人不同。”“于是把四句联起来，成一绝句，留了起来。”只要一翻《搜玉小集》或《唐诗别裁》就知道，这是节录了刘希夷《代白头吟》中的四句。那首诗，不是绝句，是乐府。
还有《诗中有画，画中有诗》一篇，说王维“喜欢画泼墨山水画，这种画在色彩上、风格上与内容都很和谐……”，而事实上泼墨始自王洽。“王洽泼墨成山水，烟云惨澹，脱去町畦。”(元汤<SPS=0186>《画鉴》)他是中唐时人，而王维是盛唐时人。
书中有些处是抄袭别人的。例如《三分诗七分读耳》一篇，大部分抄自《燕山夜话》中的《三分诗七分读》。邓拓同志对这件事是这样写的：“这几句对话很有意思。看来那个人写的诗很不好，所以要靠朗诵的声调，去影响别人的视听，掩盖诗句本身的缺陷。”《轶事》的编者写成：“这话的意思是说，此人的诗只有三分，而有七分是靠朗诵的声调，去影响别人的视听，以掩盖诗句本身的缺点。”词句是如此雷同，这就很令人怀疑了。《二句三年得》中有许多地方与《燕山夜话》中《贾岛的创作态度》相似。书中所收材料较滥，如许多不是“轶事”，限于篇幅，这里不多举例了。
质疑和订正
金璧