兄の於義丸は本多重次が武家の若君として養育し、後に結城秀康を名乗ることになります。弟は貞愛という名を与えられ、於万の方の実家であり、三河・池鯉鮒の知立神社の神官を務めた永見家の養子として育ちました。双子でありながら、数奇な運命をたどって別々に育ち、兄は武将、弟は神官になった二人ですが、慶長2年（1597年）には、兄から弟に二千俵もの蔵米が送られた記録も残っており、交流はあったようです。
しかし理解しづらいのは、於万の出産に関して家康が関心を寄せた形跡がまったく存在しないことです。養子に出された貞愛はもちろんのこと、本多重次が当初養育し、後に異母兄・信康から庇護を受けるようになった“実子”の於義丸にも、彼が3歳になるまで、家康はまともに対面しなかったという説があります。おまけに於義丸には、赤子のときの顔を見て家康が付けた「於義伊（おぎい）」という名もありました。ギギと呼ばれるナマズ目の淡水魚のような顔だというのが由来で、こういうエピソードがあることからも、家康が於義丸にまったく会わなかったとは考えにくいですが、一方で愛情はまったく感じられません。つまり、於万の方や於義丸は、家康から冷遇されていたと考えるのが自然でしょう。
本来なら家康は次男の誕生を喜ぶべきところなのに、なぜそうはならなかったのか、その理由を『以貴小伝』や『幕府祚胤伝』といった史料は説明していません。於義丸を実子だと家康が認知したのは天正7年（1579年）の築山殿の死の後で、於義丸の誕生（天正2年）からすでに5年以上が経過しており、認知がこれだけ遅れたのには、正室だった築山殿が死ぬまで於万の方を側室とは認めなかったことが影響したとされます。家康が築山殿の嫉妬を恐れたともいわれますが、以前にも指摘したとおり、史実では築山殿は形式上の正室であり、家康との実際の夫婦仲は冷え込んでいたとみられますから、別居して久しい築山殿の意見に家康が左右されたとは考えにくいでしょう。むしろ、家康の中にあった於万の方への愛情がなんらかの理由で、ある時期を境に消失してしまったと考えるほうが自然な気がするのです。
家康が於万の方を一転して疎むようになった経緯を説明する史料は残念ながら見当たりませんが、『柳営婦女伝系』には興味深い一節が見られます。成長した於義丸＝結城秀康が藩祖となった越前藩の史料に見られる情報として、「秀康君の母（＝於万の方）遠州浜松城において懐妊のとき、東照宮の命に背きしことあり、夜中俄に城内より出で、本多半右衛門（＝本多俊政）の伯母の許（もと）に行く」とあるのです。
