События «Mafia 2» разворачиваются в 1943—1951 годах в вымышленном городе Эмпайр-Бэй, где заправляют три мафиозные «семьи»: Винчи, Клементе и Фальконе. Встав на сторону одного из кланов, игрок будет медленно, как и в первой части, зарабатывать почёт и уважение преступного мира.

Главный герой, Вито Скалетта, в детстве переехал вместе со своей семьёй из Сицилии в США. Будучи мальчишкой, Вито думал, что в Америке все его мечты станут реальностью, однако на деле всё оказалось иначе. Его отец, Антонио Скалетта, работал в порту, получая за свой труд гроши. Через несколько лет Антонио, будучи пьяным, упал в воду и утонул. Семья Вито испытывала денежные трудности, из-за чего в детстве он связался с Джо — хулиганом и вором. Со временем они с Джо стали лучшими друзьями.

Шли годы, Вито и Джо выросли, но их пыл и стремление к лёгким деньгам не угасли. Однажды во время ограбления ювелирного магазина они были замечены полицией, началась погоня. Джо удалось скрыться, а Вито поймали. Его наверняка посадили бы в тюрьму, но шла война и на фронте нужны были солдаты. Поэтому Вито предоставили выбор и он предпочёл отправиться на войну.

В 1945 году, вернувшись с войны подлечиться после ранения обратно в Эмпайр-Бэй, Вито узнаёт, что в то время, в которое он сидел в окопах, Джо подрабатывал у местных мафиози, благодаря чему тот заработал себе на такую роскошь, как машины и новая квартира. С тех пор Вито становится членом преступного мира.

Сначала Джо знакомит Вито с Майком Бруски(автоугонщиком и мастером) и Дереком Паппалардо (главой профсоюза докеров и по совместительству капо семьи Винчи). Вместе с Джо они начинают работать на семью Клементе (выполняя для них несколько заданий, в том числе заказное убийство, где им помогает Генри (специалист по мокрым делам семьи Клементе)), где им предлагают войти в семью за чисто символическую сумму… 5000 долларов. Вскоре Вито сдает один из рабочих АЗС (он продавал ему и другим рабочим краденные талоны на бензин), после чего Вито сажают в тюрьму на 10 лет за растрату государственного имущества (бензина). Там он знакомится с Лео Галанте — консильери семьи Винчи, который увидел в Вито прекрасного «тюремного» бойца. По ходу игры Лео посвещает главного героя во все тонкости мафиозного дела. Сидя в тюрьме, Вито узнает, что его сестра Франческа выходит замуж, и что его мама серьёзно заболела, и Вито отдаёт все деньги на врача и свадьбу Франчески. Вскоре Вито узнаёт, что его мама умерла, и все его деньги ушли не на свадьбу и подарок сестре, а на похороны матери Марии. Далее Лео выходит на свободу и, с помощью своих связей, уменьшает срок Вито на четыре года.

Настал 1951 год. Зимняя атмосфера игры сменилась на летнюю, поменялись также автомобили, одежда, город зажил новой жизнью, в отличии от Вито. Он снова начинает работать на мафию, но в этот раз на семью Фальконе. Сначала он знакомится с заместителем дона Фальконе — Эдди Скарпа. Вскоре узнаётся, что Лео Галанте «похлопотал» за него, и оба друга — Вито и Джо стали солдатами на службе мафиозной семьи у Карло Фальконе. Карло Фальконе сообщает Вито, что Клементе похитил бухгалтера и двоих содлат семьи Фальконе — Харви Бинса, Тони Бальзама и Фрэнка. Вито следит за Лукой Гурино (капо семьи Клементе) и находит солдат Фальконе на скотобойне Клементе, где Вито вместе с Тони убивают Луку. После, Дон Фальконе доверяет друзьям особое задание — убить дона Клементе, который не соблюдал законы Коза Ностры. Джо взял с собой на задание Марти(друга Джо, которому всего 18 лет и мечтающему стать гангстером). Во время задания Марти погибает и Джо убивает Клементе. Генри, работающий на убитого дона Клементе просит у Вито поговорить с доном Фальконе о его дальнейшей работе на новую семью. И первое задание Генри, в качестве солдата Фальконе, было убийство Лео Галанте, друга Вито, Скалетта, прибыв в дом Лео раньше Генри, спасает его от убийства(у игрока здесь 2 пути, попасться Генри или сбежать незаметно, все равно Лео выживет) и отправляет на поезде в Лост — Хевен. Некоторое время все идет, как по маслу: дорогие машины, вилла в лучшем районе города, красивые женщины. Но трое друзей решаются провернуть свое дело, в тайне от главы семьи: Генри узнал, что китайская мафия продает наркотики за смешную сумму, которую за неделю можно было бы утроить. За деньгами друзья идут к ростовщику-еврею Бруно, который дает нужную им сумму под огромный процент. Но после покупки «наркоты» у Джо, Вито и Генри начинаются по-настоящему большие проблемы: сначала у выхода из китайского завода их встречают бандиты, переодетые в полицейских, потом китайские наемники убивают Генри. В итоге Джо и Вито остаются без гроша в кармане, Фальконе узнаёт о сделке и забирает свою долю, да еще и нужно отдать долг мафиозному ростовщику. Эдди дал работу Джо и Вито убить одного бывшего мафиози, сдавшего свою семью, которым оказывается Томас Анджело (главный герой первой части игры). После успешного выполнения задания, Вито идет работать в доки к Дереку, где ему поручают унять толпу разбушевавшихся рабочих. Рабочие ему рассказали правду о начальнике доков: отец Вито погиб не случайно. Его утопил Стивен Койн, шестёрка Дерека, по приказу самого Дерека. Далее Скалетта мстит за гибель своего отца и похищает все деньги из сейфа директора доков. С похищенными деньгами Вито направляется к Джо, но Джо нигде нет. По ходу поисков Джо , Вито приходит к людям Винчи которые его вырубают и везут к самому Винчи . Винчи крайне не доволен положением дел в городе и допрашивает(с помощью силы) Вито и Джо, что они знают о бойне в Чайнатауне(который разнесли Джо и Вито за смерть Генри), но Вито и Джо утверждают что понятия не имеют о чем он. Вскоре наши герои вырываются с места пыток, перебив кучу людей Винчи, отправляются к ростовщику отдать деньги . Все проходит гладко и Вито отдает деньги . Затем Вито звонит Эдди, который требует срочно приехать к Фальконе в обсерваторию для важного разговора. Вито одевается и идет по улице, его приглашают сесть в машину, где того встречает Лео, которого недавно спас Вито . Лео говорит, что все знает про убитых китайцев в квартале, об обвинениях в сторону Винчи, дело идет к тому что Вито хотят убрать. Но Лео, «похлопотав» за Вито, выбил ему задание, которое спасет ему жизнь, убить Фальконе. Вито соглашается. После долговременной перестрелки Вито заходит в планетарий, где находится Фальконе. Вито уже собиратеся убить Фальконе, но к его виску приставляют ствол, и кто бы это мог быть? Джо, которого Фальконе подкупил льстивым предложением стать его капо. Вито просит поверить ему и убить Фальконе вместе, Джо соглашается. После убийства Фальконе, Вито и Джо выходят из логова врага, а на улице их ждут люди Винчи во главе с Лео. Лео спрашивает хорошо ли все прошло, на что Вито отвечает, что Фальконе мертв. Вито просят сесть в машину к Лео, когда Джо садится в другую . Машины едут по трассе, внезапно машина с Джо, сворачивает за поворот, когда как Вито в другой машине едет дальше. Вито спрашивает в чем дело у Лео, на что Лео отвечает:"Прости, Джо в сделку не входил", то есть он «откупил» лишь Вито — очевидно они с Джо поехали к Винчи…

В «Mafia 2» была переработана система чекпоинтов. Карта вызывается кнопкой Tab, как и в оригинальной игре «Мафия», но при этом для игрока постоянно доступна мини-карта в нижнем правом углу экрана. На ней отображается путь до выбранной игроком точки (зелёная линия) или текущего задания (красная линия). Таким образом, теперь в игре нет необходимости запоминать карту. Механика перестрелок и рукопашных схваток претерпели существенныe изменения, появилась система укрытий, подобная Gears of War и GTA IV. Вито получил возможность укрываться за ближайшим возможным препятствием и вести огонь оттуда (однако нужно помнить, что некоторые укрытия разрушаемы — например, тонкие деревянные перегородки). Прицел оружия в игре теперь меняет цвет в зависимости от ситуации: красный — если Вито целится во врага, зелёный — если оружие направлено на союзника или беззащитного человека. Используемые в игре видеоролики во второй части стали гораздо более качественными. Кроме того, теперь большинство из них создаётся на движке игры в режиме реального времени, а не записанного заранее.

Основным местом действия игры Mafia II (исключая первую и шестую главу) является вымышленный город Эмпайр Бэй (англ. Empire Bay — название является отсылкой к прозвищу штата Нью-Йорк). Город основан на Сан-Франциско и Нью-Йорке, с очевидными влияниями Чикаго и Детройта. Площадь карты игрового мира составляет около 7,8 квадратных километров (3 квадратных мили), с самого начала игры можно попасть в любую точку города.

Игра содержит 46 транспортных средств (из которых 10 становятся доступны только после загрузки всех 5 официальных мини-дополнений). Автомобили имеют выдуманные имена, однако у большинства из них есть реальные прототипы. Большинство исторических автомобилей доступно в нескольких цветовых вариантах.

Угнать припаркованный автомобиль можно, взломав замок или выбив стекло передней двери. Также имеется возможность угнать автомобиль, «выкинув» из него водителя. Автомобили, которые Вито поставил в свой гараж, остаются там и ими можно воспользоваться в любой миссии. Удаление автомобиля из гаража не предусмотрено. Есть два способа избавиться от машины: Сдать Майку Бруски или Дереку Папаллардо.

Соотношение моделей с реальными прототипами:
Berkley Kingfisher — Buick Eight Convertible 1951
Houston Wasp — Hudson Hornet 1951
Jefferson Futura — Lincoln Futura concept car by Ghia 1955
Lassiter Series 69 — Cadillac Series 61
Potomac Elysium — Pontiac Club de Mer concept car 1956
Potomac Indian — Pontiac Chieftan 4-door Sedan 1953
Smith Custom 200 — Ford Fairlane 1955
Smith Thunderbolt — Ford Thunderbird 1955
Walker Rocket — Tucker Torpedo 1947
Roller GL 300 — Mercedes-Benz W198

Полицейские патрулируют город либо пешком, либо на автомобилях. Заметив преступление, полиция может действовать по-разному в зависимости от ситуации:
Предупреждение: если Вито был замечен в драке с другим человеком.
Проверка документов: за подозрительные действия.
Штраф: за небольшое правонарушение — незначительное превышение допустимой скорости, столкновение с дорожным знаком или с другими машинами.
Арест: за открытое ношение оружия на улице, за стрельбу (не в людей), за угон машин, серьезную аварию, за нападение на полицейского, нападение на граждан, за ограбление магазинов. От ареста легко откупиться, просто дав взятку полицейскому. Размер взятки зависит от количества полицейских.
Стрельба на поражение: За убийства и наезд на прохожих, за убийство полицейских, за стрельбу в полицейских, за сопротивление аресту. Существует 2 степени «стрельбы на поражение»: лёгкая — полицейские стреляют из револьверов, реже из дробовиков; тяжкая — полицейские ставят на дорогах заграждения, вооружены автоматами Томпсона, в район, где в последний раз был замечен Вито, посылаются всё новые и новые отряды.

Если полицейский объявит приметы преступника по рации, то Вито окажется в розыске. В этом случае его попытается задержать (или убить) любой полисмен. Однако можно легко уйти от преследования, если купить (или украсть) новую одежду в магазине или переодеться дома. Помимо этого, полицейские могут запомнить номер машины Вито. Если он будет замечен в ней, то начнётся погоня. Чтобы этого не случилось, номер можно сменить в автомастерской или дать взятку $500, позвонив в полицию с любого телефонного аппарата. Полиция Эмпайр-Бэй проявлет интерес не только к главному герою, но и к любым гражданам города, так или иначе нарушившим закон.

Оружие является необходимым средством выполнения подавляющего большинства сюжетных миссий (за исключением некоторых).

Многие виды оружия вернулись в игру из первой части: Thompson M1928, Colt 1911, помповое ружье. Также появилось новое вооружение времён Второй мировой войны: MP40, M3, МР-28/II, MG42[10]. Количество стволов, которые можно носить с собой, теперь никак не ограничено, ограничивается только боезапас. Пополнить арсенал и купить патроны можно в оружейных магазинах города, а также у Гарри — ветерана войны, с которым Вито познакомится в одной из миссий. Также, отмычки и некоторые револьверы продаются в магазине Джузеппе (в прошлом — профессионального взломщика сейфов).
Пистолеты и револьверы
Револьвер Colt Detective Special кал. 38 — небольшой револьвер. Им вооружены полиция и некоторые прохожие. Имеет небольшую убойную силу и точность.
Пистолет C96 (Маузер К-96) — пистолет Маузера. Имеет больший магазин, чем у Кольта. В игре встречается редко.
Кольт 1911 п/авт.(М1911А1). Этим оружием часто пользуются члены мафии.
Кольт 1911 особ.(М1911А1 с увеличенной ёмкостью магазина) — Кольт со значительно большим магазином на 23 патрона. Встречается в двух главах, также ближе к концу игры его можно будет купить у Джузеппе.
Револьвер Smith and Wesson Model 27 Magnum Имеет большую убойную силу и значительную отдачу. В игре встречается редко.
Пистолеты-пулемёты
M3 «Grease Gun» — небольшой пистолет-пулемёт. В игре встречается только в некоторых миссиях.
MP40 — германский пистолет-пулёмет средних размеров под патрон 9х19 мм.
ПП Томпсона обр. 1928 г. Имеет барабанный магазин на 50 патронов и значительную убойную силу.
ПП Томпсона M1A1 Вместо барабана магазин на 30 патронов.
ПП Beretta обр.1938 г. — пистолет-пулемёт средних размеров.
Дробовики
Помповое ружьё Winchester Model 1897 — дробовик с ручной перезарядкой. Часто используется в игре, иногда им бывают вооружены полицейские.
Винтовки
Винтовка K98 — немецкая винтовка с ручной перезарядкой. Стреляет медленно, но имеет высокую убойную силу и точность.
Винтовка М1 Garand — самозарядная винтовка. Стреляет достаточно быстро, имеет высокую убойную силу и точность.
Метательное оружие
Граната Mk.II — взрывная граната.
Коктейль Молотова — бутылка с зажигательной смесью.
Пулемёты
MG42 — мощный пулемёт, собранный в Германии. В игре является стационарным оружием и не переносится в руках. Используется только в двух миссиях.

В «Mafia II» используется лицензированная музыка 1940/1950-х годов, включая 122 композиции от 74 исполнителей, среди которых: «Rock Around the Clock», «Let It Snow», «Mambo Italiano» и другие.

В загрузочных экранах приведены цитаты Томаса Анджело с судебного процесса над Сальери (на самом деле- строки из его беседы с детективом Норманом).
В 14 главе игрокам предстоит убить главного героя Mafia: The City of Lost Heaven — Томми Анджело. Сцена убийства практически идентична финальному ролику из «Mafia», за исключением того, что вместо Вито должен был быть Эдди, и орудием убийства послужил обрез.
Когда Вито отвозит Лео на вокзал, тот говорит, что отправится в Лост-Хэвен.
Когда Вито первый раз направляется к Джо, два человека возле его дома обсуждают отличия правил дорожного движения Эмпайр Бэй от Лост-Хэвен.
На радиоволне «Классика Эмпайр» можно услышать музыкальную композицию из Mafia: The City of Lost Heaven.
В порту можно увидеть коробки компании «Импорт-Экспорт Скорцезе», которые встречались в первой части игры.
Бар «Crazy horse», который Вито и его напарники расстреливают в главе 8 — это название автомобиля из первой части игры: его можно выиграть в режиме Большой прогулки и его стиль (хот-род) схож с автомобилями бриолинщиков.
В 11 главе во время разговора Генри и Вито последний говорит, что лучше работать в мафии, чем таксистом. Это очевидный намёк на первую часть игры, ведь Томми Анджело как раз работал таксистом.
Поли из первой части и Карло Фальконе озвучивает Олег Щербинин.
Луку Бертоне и Луку Гурино озвучивает Борис Репетур.
Генри Томасино как и Поли из Mafia: The City of Lost Heaven ради денег совершают поступки после которых погибают.
Компания «Траго», занимающаяся заправкой машин и нефтепродуктами вообще, была в гоночной миссии Mafia: the City of Lost Heaven (как реклама над трассой), а здесь «Траго» управляет заправками по всему Эмпайр-Бэй, и Фрациска там работала секретаршей.

По словам разработчиков в игру так и не было внесено всего того, что планировалось. Игра завершена где-то на 70 %.
По словам продюсера игры Денби Грейс, первоначально разработчики планировали несколько альтернативных концовок игры, но позднее решили оставить только одну из четырёх[.
Рукопашное оружие — вырезано из-за конфликтов с анимацией. В игре остались очевидные намёки на его присутствие.
Общественный транспорт. По словам разработчиков его вырезали из-за того, что оно требовало много памяти (в том числе и метро). Однако в игре есть остатки кода — автобус будет ехать даже если залезть на его крышу (другие транспортные средства останавливаются, если залезть им на крышу).
Стрельба из машины — в игре осталась, однако у игрока просто нет возможности это сделать.
Лицензия на ношения оружия — ранее она требовалась для того, чтобы покупать оружие в магазинах и чтобы избежать проблем с полицией, если они заметят у игрока оружие. Почему его вырезали — неизвестно.
Дополнительные задания — после удаления рукопашного оружия они стали бессмысленны. В финальной версии некоторые доп. задания остались, но их сделали принудительными.
Покупка машин — интерьер автосалона в игре остался и используется только в «Машинопедии», но машины всё же покупать нельзя.
Вилла в Хиллвуде. В дополнении Joe’s Adventures явно ощутимо, что в вилле раньше можно было жить — все объекты интерактивны, в том числе радио, холодильник и шкаф.
Карлос «Чарли» Лопез. Владелец автосервиса. В финальной версии персонаж полностью вырезан из сюжета, однако его имя осталось над его автосервисами, также по радио крутят его рекламу. В сюжете был необязательным персонажем и давал побочные скрипты.
Репутация. Ранее репутация фигурировала важную роль в геймплее, однако точная её роль неизвестна. С высокой репутацией игрок мог покупать товары по низким ценам.
Музыка в Joe’s Adventures. Разработчики просто забыли вложить её в финальный билд.
После 6-ой главы главы игроку давался выбор в какую семью вступить — Винчи или Фальконе. Потому-то в баре «Мона Лиза» нельзя использовать оружие и бармен знаком с Вито.

26 мая 2010 года было анонсировано 4 пакета дополнительного загружаемого контента плюс еще один, который прилагается в составе коллекционного издания:
Vegas Pack: Два дополнительных автомобиля и костюма для Вито.
War Hero Pack: два армейских автомобиля и два новых костюма — солдатское пальто и обычная форма солдата.
Renegade Pack: два новых автомобиля — спортивное купе и хот-род в стиле 50-х годов и две куртки, включая кожаную для Вито
Greaser Pack: два спортивных автомобиля в стиле хот-род, кожаный гоночный костюм, кожаная куртка и высокие ботинки.
Made Man Pack: смокинг и два автомобиля для Вито. Прилагается в коллекционном издании.

28 сентября 2010 года Vegas Pack, War Hero Pack, Renegade Pack и Greaser Pack стали доступны для покупки в сети Steam, каждый стоимостью $2.99. Также был выпущен видеоролик, рекламирующий эти дополнения.

Разработчики выпустили три загружаемых дополнения: The Betrayal of Jimmy, Jimmy’s Vendetta и Joe’s Adventures. Все дополнения содержат новые миссии, а также поддержку достижений в Steam[24]. The Betrayal of Jimmy был временным эксклюзивом для PlayStation 3 и вошёл в состав издания «Mafia II» для этой платформы. Также его можно приобрести за $9.99 через сеть PlayStation Network. Для русской версии игры полностью локализованное дополнение The Betrayal of Jimmy появилось в русском сегменте PSN 21 октября, причем скачивание полностью бесплатно, в отличие от европейского и других сегментов PSN.

Дополнение Jimmy’s Vendetta вышло позднее самой игры и доступно для всех трёх игровых платформ PlayStation 3, Xbox 360 и ПК, дата выхода 7 сентября 2010 года. Данное дополнение также включает новые достижения и трофеи, его можно приобрести за $9.99. Несмотря на то, что релиз Jimmy’s Vendetta произошёл по всему миру, оно некоторое время было недоступно в России и странах СНГ. 3 декабря 2010 года компания «1С-SoftClub» выпустила это дополнение на диске вместе с другими. Позже все дополнения стали доступны для загрузки через Steam в России.

В 3-ем вышедшем дополнении — Joe’s Adventures — рассказана история Джо Барбаро в те годы, которые Вито провел в тюрьме. Оно появилось в продаже 23 ноября 2010 года.
Во всех трех дополнениях, в отличие от оригинала, совершенно другая система прохождения игры (вместо глав игроку предстоит выполнять задания различных персонажей по всему городу) так что игра больше стала походить на GTA, чем на традиционную Mafia.
В дополнении Joe’s adventures появилось шоссе, ведущее на дамбу, в оригинальной Mafia II эта дорога отсутствует.