Bさんだけが読めるようにするには、Bさんの公開鍵で暗号化します。対応するBさんの秘密鍵だけで復号できるためです。
送信者Aさんの鍵ではなく、受信者Bさんの鍵の組を使います。公開鍵は配布可能ですが、秘密鍵はBさんだけが厳重に保持します。