Верно. Браузера новых пользователей будут запрашивать эту иконку сразу:
Чтобы у вас появилась — очистите кэш вашего браузера и перезапустить его. Хотя, в некоторых браузерах favicon.ico кэшируется где-то отдельно от основного кэша, и именно у вас новая иконка может сразу не появиться (вы же уже были на сайте, когда там ещё не было иконки). Но она появится через время. Поисковики обновляют иконку как правило в течение нескольких месяцев, обычно до трёх.