git rm コマンドは、デフォルトでは、指定したファイルをインデックスの登録から解除すると同時に、ローカル PC 上のファイル自体を削除してしまいます。

$ git rm sample.txt    # ローカル PC からも削除されてしまう

下記のように git rm コマンドに --cached オプションを付けて実行すると、インデックスの登録から解除するだけで、ファイル自体は untrucked 状態になってワーキングツリーに残ります。

$ git rm --cached -f sample.txt