Hola
Algo mejor te entiendo
Bueno al grano.
Si la ventana que quieres abrir es una ventana del navegador, osea el tipico popup, no puedes hacer el efecto de sobra ya que ese efecto lo debe gestionar el sistema operativo.
Si la ventana es una capa HTML osea un DIV, la forma de crear una sobra es utilizando imagenes PNG con degradado de negro a transparente en el borde inferior y en el derecho, el problema del formato png es que no se lleva muy bien con los navegadores sobre todo IE.
También puedes utilizar imagenes .gif en negro o gris, pero este efecto sombra pierde mucho.