中流貴族の生まれであるがゆえに、大貴族たちのようには荘園所有の恩恵に預かっていない藤原義懐たちは、荘園がこれ以上、新規で増えることを抑止し、天皇による直接の土地支配と、税金徴収の制度復活に備える「荘園整理令」を花山天皇に発布させました。
しかし、なぜ大貴族たちは、それほど多くの荘園を抱えることができたのでしょうか？
天平15年（743年）、有名な「墾田永年私財法」が制定され、自分で開拓した土地の私有権が認められるようになってはいたのですが、小規模土地有者たちは、国から課される高額すぎる税に悩んでいました。
しかし、税関係の役人よりもさらに上位の役人――つまり都の上流貴族（や大寺院）に自分の土地を差し出せば、彼らには免税特権もあるし、何かと便宜を図ってくれる……という事実が周知されるにつれ、権力者であればあるほど、全国から多くの荘園が手元に集まってくる事態になったのです。上流貴族には免税特権があり（不輸の権）、当時は身分社会ですから、身分が低い役人は、名目だけでも上流貴族の所有地になっている荘園には出入りすることさえできなくなりました（不入の権）。小規模土地所有者は、名義を貸してくれた上流貴族にいくばくかのお礼を支払わねばなりませんが、それでも国に税金を収めるより、よほどお得だったというわけです。