Fils d’un boucher de Hambourg[1], il abandonne sa formation d’agent commercial pour se consacrer au théâtre. En 1914, il devient la vedette du Thalia Theater de sa ville. L’année suivante, il combat sur le front Ouest. Blessé en 1917, il reprend ses activités de comédien, se produisant dans des pièces de boulevard, des revues musicales et des opérettes, car il est aussi un excellent chanteur.
Il commence sa carrière cinématographique dès 1915, et obtient rapidement des premiers rôles comme dans Das Lied der Colombine (1918) ou dans Die Dreizehn (1918) d'après Balzac. Dans les années 20 sa carrière peine à décoller. Il interprète cependant des rôles de séducteur ou de jeune homme dynamique, notamment dans les films de Frederic Zelnik comme Die Venus von Montmartre (1925) ou An der schönen blauen Donau (1926).
En 1928, il travaille à Berlin pour le Deutsches Theater de Max Reinhardt, et connaît son premier succès personnel avec la pièce Die Verbrecher. Au cinéma, il est toujours très demandé, et joue notamment dans une coproduction germano-suédoise, En Perfekt Gentleman (1927), dans Eine Dubarry von Heute (Une Dubarry moderne) (1927), et Prinzessin Olala (1928), tous deux avec une Marlene Dietrich encore inconnue, et dans Asphalt (1929), de Joe May, où il est un des voleurs. L’année suivante, il s’impose définitivement, avec son rôle de Mazeppa, aux côtés de Marlene Dietrich et Emil Jannings, dans Der blaue Engel (L’Ange Bleu).
Avec le parlant, Albers est désormais une vedette, passant de la comédie aux adaptations shakespeariennes, du western aux fresques historiques. Il partage l’affiche avec Lilian Harvey dans Quick (1932), Sybille Schmitz dans FP1 antwortet nicht (FP1 ne répond plus) (1932), Brigitte Helm dans Gold (L’Or ) (1934). En 1935, les Nazis le contraignent à se séparer de sa compagne Hansi Burg qui doit s’exiler.
En 1937, il interprète un escroc se faisant passer pour Sherlock Holmes dans Der Mann, der Sherlock Holmes war (On a arrêté Sherlock Holmes), aux côtés de son ami Heinz Rühmann. Mais il est surtout connu pour sa magnifique interprétation de l’excentrique Baron Münchhausen dans Münchhausen (1942), un pamphlet anti-militariste de Josef von Báky, peu apprécié par le régime nazi. A la fin de la Guerre, il retrouve Hansi Burg, mais est un moment inquiété par les autorités de dénazification. Finalement blanchi, il poursuit sa carrière avec brio jusqu’à la fin de sa vie.