Le cimetière allemand de Rancourt rassemble 11.422 corps ou restes de soldats allemands : 3.930 dans des tombes et 7.492 dans l’ossuaire.
La nécropole fut créée par les Français en 1921.
A cette époque, le Traité de Versailles, ratifié le 28 juin 1919, avait placé les cimetières allemands sous tutelle de l'administration française.
Dès lors, le service français des tombes militaires fit disparaître un grand nombre de petits cimetières aménagés pendant les combats au profit de cimetières de regroupement (ici).
Ce n’est qu’en 1926 que l’entretien des cimetières passe à la charge effective de l'Etat allemand. Des dispositifs d'aménagement, qu’avait précédemment élaboré l’administration française, furent adoptés, conformément aux spécificités culturelles germaniques. Ainsi, dans les cahiers des charges figureront : des plantations d’arbres et de haies ; des travaux de jardinage ; des portails d’entrée en fer forgé et structure métallique ; des bordures de pierre pour les ossuaires ; des grandes croix latines noires dominant généralement les tombes ; des petites chapelles consacrées au souvenir ; l'utilisation de matéariaux de construction particuliers (pierres roses, etc.)...
C’est également en 1926 qu'est adopté l’emblème chrétien de l’association qui sert à signaler les lieux de sépulture. Cette expression graphique représente 4 petites croix de couleur noire dominées par une plus grande.
La représentation s’inspire d’une photo parue en 1921 à la une de la revue de l’association Stimme und Weg, représentant quatre tombes allemandes présentes dans un cimetière polonais.
Au total, 100 des 209 cimetières allemands en France furent réaménagés durant la période de l’entre-deux-guerres.
Le "Volksbund Deutsche Kriegsgräberfürsorge" ou "Association populaire allemande pour l’entretien des tombes de guerre" fut créé en 1919.