潘岳的父亲与杨仲武的祖父是旧交，而潘岳的妻子是杨仲武的姑母，所以两人属于世亲联姻的关系。语本《文选．潘岳．杨仲武诔》：「尔舅惟荣，尔宗惟瘁，幼秉殊操，违丰安匮，撰录先训，俾无陨坠，旧文新艺，罔不必肄，潘杨之穆，有自来矣。」后人即称姻亲关系为「潘杨之睦」。《文选．沈约．奏弹王源》：「其为虚托，不言自显，王满连姻，寔骇物听。潘杨之睦，有异于此。」