지난번은 알지만 상대방은 몰라

지난번은 알지만 상대방은 몰라
실수로 상대방의 번호를 알아냈는데 상대방이 내 번호를 모른다
이전 번호를 저장하면 상대방의 카카오톡에 나타납니다.
끄는 방법 없나요