公開鍵暗号では各人が公開鍵と秘密鍵を一つずつ持ちます。4人なら4組で8個となり、そのうち外に出してはいけない秘密鍵は1人1個、計4個です。
公開鍵は相手が暗号化や署名検証に使えるよう共有します。全員で秘密鍵を共有するのではなく、各人が自分の秘密鍵だけを管理する点が共通鍵方式との違いです。