Сама по себе маска – это самое обыкновенное черно-белое изображение. Ею может быть черный пергамент на белом фоне (и наоборот), или кисточка-виньетка, а можно даже нарисовать маску вручную.
Работают они по следующему принципу:
Черный цвет в маске – та часть изображения, которая не будет использована. (На практике она будет отображаться как 100% прозрачность)
Белый цвет – напротив, непрозрачное изображение.
Серые цвета – как вы уже догадались, это – степени прозрачности. То есть от серой маски на практике получится слегка прозрачное изображение. (Все будет зависеть от того, на сколько цвет темный\светлый)
Иными словами, выглядит это так:
изображение --- маска

Как видно из примера, основной фон картинки (который видно) полупрозрачный, так как в маске использовался серый цвет. Там, где был черный – фон полностью прозрачен. А белый(по маске) смайлик выглядит гораздо ярче, так как эта часть изображения полностью непрозрачна.
Кстати, такой принцип маски используется так же в накладывании текстур на 3D модели.

Что ж, теперь, когда мы разобрались в принципе действия маски, приступим к делу.
Нам понадобится любая картинка и маска

В первую очередь необходимо подогнать размер изображения под размер маски, или наоборот. Вы должны четко понимать, какая область вашего изображения исчезнет или станет полупрозрачной. Важна точность.
Теперь, когда мы все проверили, переводим наше изображение из фонового режима в обычный слой. Это можно сделать, дважды щелкнув ЛК по фону, затем нажав «ОК».
Теперь, выделив слой жмем кнопку в правом нижнем углу экрана:
Мы видим, как рядом  с нашим слоем появилась белая маска:

Теперь, зажав Alt жмем ЛК на маску. Вместо нашего изображения появляется белый фон. Отныне, когда мы хотим править маску, необходимо переходить на неё, зажимая Alt. С помощью комбинации клавиш (Ctrl+C – скопировать, Ctrl+V - вставить) перетаскиваем изображение маски.

Нажимаем левой кнопкой на наш слой, и уже видим результат. (Не забыли перепроверить цвета маски? )
Если все устраивает, можно соединять. Теперь все, что нам нужно – нажать ПК на маску и выбрать строку применить слой-маску.
Далее остается только украсить изображение, написать что-нибудь, и – готово!

Такой эффект, как маска, расширяет возможности любого фотошопера в несколько раз.
Фантазируйте, творите! Удивляйте своими результатами! (:

Примечания и рекомендации:
- Лучше колорировать изображение до того, как начнете использовать на нем маску. Это избавит вас от лишней возни с цветными слоями.
- При работе с темными изображениями можно поступить следующим образом – для большей четкости контура, скопировать финальный вариант работы и нижний слой сделать черным. Контуры изображения станут темнее и четче.