晩年の康政は、思うように領地も加増されず、政治的にも冷遇されたことに不満があったので、家康と距離を置くようになった……とよく語られますね。『東照宮御実記』も後年の記述になればなるほど、康政が登場する記事がほとんど見当たらなくなるのは事実です。しかし、一方で『御実紀』には、晩年の家康が康政をどのように思っていたかを教えてくれる興味深いエピソードがあります。
正確な時期の記載はないものの、家康が征夷大将軍の位を秀忠に譲って、「大御所」となった頃の話でしょう。ある時、江戸からの使者に駿府で面会した家康は、武道の研究に熱心な秀忠の様子を聞き、「軍法について教わるには榊原康政が適任だ。多人数を使うことに慣れているから、康政に教えてもらいなさい」という発言をしたそうです。家康が康政を信頼している様子がうかがえますね。
家康が64歳で秀忠に将軍位を譲ったのが慶長10年（1605年）で、その翌年から家康が隠居先として考えていた駿府城の修復工事が本格化しています。家康が駿府に（完全）移住したのは慶長12年（1607年）7月のこと。康政が上州館林（現在の群馬県）にて59歳で病死したのは、その前年の慶長11年（1606年）5月でしたから、『御実紀』の逸話のもとになるこの会話があったのは、おそらく1605年と1606年の間くらいではないかな、と思われます。
関ヶ原の戦いの後、榊原康政は老中に就任しています。しかし、康政は政治の中枢である江戸城にはあまり近づかず、館林で多くの時間を過ごしたとされます。江戸城では、本多正信が老中でもないのに家康の最側近として活躍しており、（ドラマでは特にそのような描写は見られませんでしたが）史実の康政と正信は不仲だったとされています。康政が江戸城から距離を置いていたのは、多くの言葉を交わさずとも家康と十分な意思疎通ができている正信の様子を見聞きして、嫉妬していたからかもしれません。