『松平記』の記述には話を盛った部分が多く、完全に信じることはできませんが、より史実に近いであろうと考えられる江戸時代初期成立の『岡崎東泉記』という史料にも、岡崎城を築山殿が訪れた際、信康と五徳姫夫妻とともに食事をとった時のエピソードとして、彼らの不仲を伝える話がよりリアルに語られています。
「兼ねて御中（＝仲）、好（よ）からざりし」信康と五徳姫だったが、この時、「信康公楊枝を通させ給いし時、御前様（＝築山殿）に『（楊枝を）御取り給われ』と御申し候えば、（五徳姫は）御返事もなくして御座ありし」……楊枝を使って歯間の食べかすを取っていた信康が、五徳姫に向かって、母上（＝築山殿）にも楊枝を取って差し上げろ、と言ったところ、五徳姫は返事もせず、（おそらく信康の行儀の悪さに呆れ果てて）黙って座っているだけだった。すると「信康公、局（＝五徳姫）を大き御叱り、諸事仕付け悪しき」……信康はそんな妻を大声で「親の躾が悪いから、お前はそういう態度を取るのだ！！」と叱りつけたところ、自分だけでなく、両親のことまで悪く言われた五徳姫は「其の事をふくれて」、ついに「信康公の御事十箇条」を書きつらねて、信長に送ってしまったのだそうです。
このように五徳姫との関係は最悪だったとみられる信康ですが、徳川家の家臣たちの評価も最悪でした。江戸時代初期に石川正西という武士が戦国の世を知る人々からの情報を集めた『石川正西聞見集』には、信康が「悪戯なる事ばかり成され候まま、御下衆難儀仕られ候」とあり、家康は（おそらく前述の怒るに怒れないという理由で）問題児・信康を放置し続け、家臣たちも迷惑を被っていたことがうかがえます。
家康のこうした「放任主義」とは対照的に、信長のほうが信康と向かい合おうとしていたと思われる記述もあります。もちろん愛娘・五徳姫のためでしょうが……。
