JDialog は JFrame とは異なり、デフォルトではウィンドウサイズを変更できないようになっています。 ダイアログの端をドラッグすることでウィンドウのサイズを変更できるようにするには、以下のように設定します。
dialog.setSizeable(true);
