O fato de você morar com seu filho não significa que você tem a guarda, a guarda é definida após a propositura da ação de regulamentação de guarda e fixação pelo juiz.
A regulamentação da guarda é extremamente importante, porque gera segurança para você e seu filho, considerando que diversos aspectos podem ser definidos na ação, evitando que a outra parte ingresse com a ação agindo de má-fé.
Mesmo que os pais tenham uma relação saudável, é importante deixar essa situação regularizada, seja com uma guarda compartilhada ou a guarda unilateral.
É extremamente importante focar no seu filho e imaginar que tudo pode acontecer e não ficar à mercê de um pai ausente que pode te prejudicar.