Bis zum Anfang des 20. Jahrhunderts waren Rohrweihen in den tiefen Lagen Mitteleuropas weit verbreitet und sehr häufige Brutvögel der Marschen und Sumpfgebiete. Die Kombination aus intensiver Verfolgung und Lebensraumzerstörung führte jedoch bis in die 1930er-Jahre zu starken Bestandseinbrüchen. Auch durch Unterschutzstellung konnte die negative Entwicklung vielerorts nicht gestoppt werden. Erst ab Anfang der 1970er-Jahre stabilisierten sich die Bestände infolge der nachlassenden Verfolgung und Einschränkung der Schilfmahd sowie der Verschilfung zuvor genutzter Standorte. Seit den 1990er-Jahren hat die Rohrweihe zunehmend auch Raps- und Getreidefelder als Bruthabitat erschlossen.

Rohrweihen besiedeln in Deutschland vor allem gewässerreiche Landschaften mit hohem Offenlandanteil. Der überwiegende Teil des deutschen Bestands brütet im Norddeutschen Tiefland, wo die Rohrweihe abgesehen von größeren Lücken am Unteren Niederrhein nahezu flächendeckend als Brutvogel vorkommt. Eine besonders dichte Besiedlung und nahezu geschlossene Verbreitung weist das Nordostdeutsche Tiefland auf. Die Mecklenburgische Seenplatte, Uckermark, Barnim und Havel sowie die Leipziger Tieflandsbucht und das Oberlausitzer Heide- und Teichgebiet bilden großflächige Dichteschwerpunkte. Das Nordwestdeutsche Tiefland ist lückiger besiedelt. Schwerpunkte der Rohrweihen-Verbreitung bilden die Marschen Nord- und Ostfrieslands sowie die Hellwegbörde. In größeren Hochmoorkomplexen und Heidegebieten der Geest kommen Rohrweihen nur in geringen Anzahlen vor oder fehlen sogar vollständig. Auch in der Mittelgebirgsregion beschränkt sich die Verbreitung auf wenige, zusammenhängende Schwerpunktvorkommen in Auen und Beckenlandschaften. Das Thüringer Becken, die Weihergebiete Mittelfrankens, Rheinhessen und die Vorderpfalz, das Rhein-Main-Gebiet und die Wetterau stellen ausgeprägte Siedlungsschwerpunkte dar. Im Alpenvorland besiedeln Rohrweihen neben kleineren, isolierten Vorkommen vor allem die Gäuboden, die Untere Isar sowie das Donautal.