Les autorités d'occupation ayant décidé le transfert des soldats français vers l'Allemagne et l'Autriche, près de 2000 prisonniers rejoignent la gare de Quimper le 12 décembre 1940  pour un train en partance vers le Reich. Seules quelques centaines de militaires métropolitains sont maintenues dans le camp de Lanniron. La majorité de ces prisonniers « blancs » est affectée à des détachements de travail à Brest (700 prisonniers) au Poulmic en Crozon, à Châteaulin, Pluguffan, Vannes et Coetquidan.

L'armée allemande impose le travail des prisonniers de guerre sur les chantiers militaires. En tout, 79 détachements de travail dépendent du front Stalag 135 en 1941. La journée de travail est normalement de 8 heures par jour, non compté le temps mis pour se rendre sur le chantier.

A partir de décembre 1942, la majorité des troupes présentes au camp de Lanniron est constituée de troupes coloniales composées de militaires issus des colonies d'AEF (Afrique Equatoriale française) d'AOF (Afrique occidentale française) et d'Afrique du Nord. Ces soldats de couleur sont jugés indésirables par le régime national socialiste sur le sol allemand.
En mai 1941, le camp de prisonniers de Quimper visité par les inspecteurs de la Croix Rouge compte selon la terminologie raciste alors employée 803 blancs, 6592 hommes de couleurs, 31 noirs, 320 annamites, soit un total de 7 746 hommes.
 
Les archives sont malheureusement trop peu nombreuses pour permettrent de connaître précisément  la vie quotidienne de ces hommes à l'intérieur du stalag 135 entre 1941 et 1944.

Cependant, plusieurs décès de soldats coloniaux sont constatés dans les registres de l'état civil. Il s'agit de tirailleurs sénégalais (18ème RTS),  marocains (2ème RTM),  tunisiens (8 RTT) et algériens (19 RTA). On signale la présence de soldats de bataillons de pionniers ou du Génie,  originaires d'Afrique du Nord. La grande majorité de ces soldats  a été mobilisée en Tunisie, en Algérie et au Maroc.
Dix militaires coloniaux vont décéder à Quimper en 1941. A la lecture des rapports de la Croix Rouge, il ne semble pourtant pas que les conditions de vie des prisonniers français de Lanniron aient été plus mauvaises que celles des autres camps d'internement. Cependant l'éloignement culturel, le froid et l'humidité de baraques mal chauffées sont difficilement  supportables pour ces hommes originaires de régions bien éloignées du climat océanique breton.

Néanmoins, les conditions générales d'hygiène sont, de l'avis de la Croix Rouge, qui inspecte le camp le 28 mai 1941, assez bonnes. Les prisonniers ont accès quotidiennement aux douches (froides). Dix-sept médecins ont en charge les prisonniers rattachés au front stalag 135. Deux médecins sont présents en permanence à Lanniron, mais avec quels médicaments ? La tuberculose est bien présente mais ne dépasse pas les niveaux présents dans d'autres camps : 3% des prisonniers en sont cependant atteints en 1941.

Avec l'arrivée massive de soldats coloniaux, il semble cependant qu'une partition s'opère désormais : deux camps cohabitent à l'intérieur du stalag : d'un coté les baraquements des prisonniers de guerre métropolitains, de l'autre, ceux affectés aux troupes coloniales.

A l'intérieur de l'espace du camp attribué aux soldats de couleur les hommes sont affectés aux différentes baraques en fonction de leur nation d'origine. Une baraque héberge en moyenne 90 hommes. A la tête de chaque dortoir, l'on trouve un prisonnier, chef de la baraque au statut privilégié. Il est aidé de deux autres prisonniers faisant office de policiers et chargés du maintien de l'ordre dans le dortoir.

L'un des bâtiments du camp fait office de mosquée. Les colis de la Croix Rouge et d'associations d'aides  marocaines, certainement trop peu nombreux permettent heureusement d'améliorer quelque peu la ration quotidienne d'un petit nombre de prisonniers. La bibliothèque de l'ancien 137ème RI déménagées au camp à la fin 1941 représente l'essentiel de l'activité de détente proposée aux internés au repos.

Quant à ceux qui penseraient à l'évasion. Une punition de 21 jours d'isolement sanctionne toute tentative.

Les troupes coloniales sont pendant toute la durée de la guerre exploitée comme une main d'œuvre bon marché par les autorités allemandes dans les détachements de travail.
A la Libération des camps, certains d'entre eux rejoignent les rangs de la Résistance.

La France ayant retrouvée sa souveraineté va les renvoyer chez eux, sans cérémonie, presque sans regrets. C'est le temps de l'oubli dans un pays en ruines qu'il faut reconstruire alors que d'autres camps, d'une toute autre nature, s'ouvrent sur des fantômes, plus à l'est, au fur et à mesure de l'avancée des troupes alliées en Allemagne et en Pologne.