Je ne dirai pas qu'il faut être capable de connaître les deux mais que c'est un plus.
Quelqu'un peut très bien mener toute sa vie avec un seul des deux.
En terme de difficulté de prise en main, je dirai que Keras|Pytorch lighting sont plus simple que Pytorch. Mais que Tensorflow est ce qui est le plus complexe à prendre en main.
Cependant, les difficultés apportées par Pytorch sont utiles et permettent de comprendre réellement le fonctionnement du modèle. C'est pour cela que pour débuter, c'est selon mon expérience le meilleur compromis.
Ensuite, lorsqu'on veut sortir de la formation et produire une IA, une fois de plus le compromis Pytorch l'emporte tout en conservant des performances a minima égales à celles des concurrents.