savelikan:А как мне узнать, как кодируется пароль в базе данных phpBB?
Явно иначе чем в уже имеющейся базе cms с пользователями. Вы поймите для начала сами что вам надо получить в итоге, от этого зависит собственно выбор решения.
Тема авторизации (именно авторизации а не аутентификации) во внешней системе довольно сложная штука, особенно если эта внешняя система не знала раньше и соответственно не умела никаких авторизационных параметров phpBB.
В phpBB данные, используемые для авторизации это не только таблица users, и, соответственно это не только функция проверки пароля при входе.
По хорошему (типа архитектурно правильное решение) на два разных сайта вам надо делать один внешний ldap, но это не слабый объём работ + надо переделывать тот cms, который у вас уже есть.
Вариант костыля, если у вас больше не будет систем (только сайт и форум) можно закостылить аккуратно триггерами в БД двухстороннюю репликацию пользователей в обоих системах. В этом случае вам надо только привести форум и cms к единому методу формирования хеша пароля. А если настроить куки на один домен, то и автологин в обоих системах можно внедрить. При этом никаких дополнительных навесок из РНР.