Both meanings are attested by dictionaries, e.g. DWDS:
Grammatik: entspricht einem mit »können« umschriebenen Passiv
[…]
diese Frage ist leicht zu beantworten
Grammatik: entspricht einem mit »müssen« umschriebenen Passiv
[…]
der Ausweis ist am Eingang vorzuzeigen (= muß vorgezeigt werden)
Both meanings are briefly mentioned in the Duden grammar (8th/9th ed. § 805, p. 549/562; 10th ed., § 622, p. 386) and Hammer's German Grammar (7th. ed, section 13.4.5(a), p. 339).
The ambiguity is usually not a problem. The meaning of the infinitive helps. For instance, sehen in its literal meaning is highly compatible with possibility:
Oft ist der Gipfel zu sehen.
Auf den Aufnahmen waren zwei Männer zu sehen.
On the other hand, sehen in the meaning of bewerten, einschätzen is compatible with necessity:
Teilhabe und Austausch sind positiv zu sehen.
Die Probleme sind vor diesem Hintergrund zu sehen.
Adverbials also help.
Das ist schnellstens zu erledigen. (müssen)
Das ist ohne Probleme zu erledigen. (können)
I checked the examples I gave with DeepL and Google Translate; both tools chose the same interpretation I did, which I take as an indication that the rest of the sentence contains enough information to make a good guess at the meaning.