一天，薛生来访，正碰上杨于畏白天睡觉。见屋子里琵琶、棋具都有，知道这些东西不是杨于畏擅长的。又翻阅他的书时，发现了一些抄录的宫词，字迹端正秀丽，心中越发怀疑。杨于畏醒来后，薛生问道：“这些游戏用具是哪来的？”杨于畏回答说：“想学学。”又问诗卷是哪来的，杨于畏假称是从朋友处借的。薛生反复赏玩，见诗卷最后一行小字写的是“某月日连琐书”，便笑着说：“这是女子的小名，你怎么如此欺骗我？”杨于畏窘迫不安，不知怎么回答好。薛生苦苦追问，杨于畏闭口不答。薛生便卷起诗卷，以拿走相要挟。杨更加窘困，只得实说了。薛生要求见见这个女子，杨于畏告诉他女子的嘱咐，薛生却更加仰慕。杨于畏迫不得已答应了。到了夜晚，女子来了。杨于畏便转述了薛生要见见她的意思。女子发怒地说：“我怎么嘱咐你的？你竟喋喋不休地跟人说了！”杨于畏解释说明当时的情况。女子说：“我和你缘分尽了！”杨于畏百般安慰解释，女子终究还是不高兴，起身告别说：“我暂时躲避躲避。”

第二天，薛生来了，杨于畏告诉他女子不愿见。薛生怀疑他在推托，晚上又带了两个同学来，赖着不走，故意扰乱杨于畏，吵吵嚷嚷闹个通宵。气得杨于畏直翻白眼，但是无可奈何。众人一连几夜，也没见那女子的影子，便都有了回去的心思，不再吵闹了。忽听外面传来吟诗声，大家静静一听，只觉那声音非常凄惋。薛生正在凝神倾听，同学中有一个武生王某，搬起块大石头投了过去，大喝道：“拿架子不见客人，什么好诗，呜呜咽咽的，让人烦闷！”吟诗声顿时消失了。大家都埋怨王生，杨于畏更是恼怒，脸色不好看。说话也难听了。第二天，同学们都走了。杨于畏独宿空房，心中盼望着女子再来，却一直渺无人影。

又过了两天，女子忽然来了，哭泣着说：“你招了些恶客，差点吓死我！”杨于畏连连道歉。女子匆匆地走了出去，说：“我早说过和你缘分尽了，从此永别了！”杨于畏正想挽留，女子已消失不见了。此后过了一个多月，女子一次没来。杨于畏天天思念，人瘦得皮包皮骨头，但却没法挽回了。

一晚，杨于畏正一个人喝着酒，女子忽然掀帘进来了。杨于畏高兴地说：“你原谅我了？”女子流着泪，默默不语。杨于畏忙问怎么了，女子欲言又止，只说：“我赌气走了，现在有急事又来求人，实在羞愧！”杨于畏再三询问，女子才说：“不知哪里来的个肮脏鬼役，逼我当他的小妾。我自想是清白人家的后代，怎能屈身于鄙贱的鬼差呢？可我这个弱小的女子，又怎能和他抗拒？您如认为我们感情深厚，如同夫妻，不会听任不管吧？”杨于畏大怒，恨恨地要打死那鬼差。可又顾虑陰问陽世不同路，怕无能为力。女子说：“来夜你早点睡觉，我在你梦中请你去。”于是两人重新和好，一直谈到天亮。女子临去又嘱咐杨于畏白天不要睡觉，等到夜晚相会，杨于畏答应了。