您可以使用 Firebase ML 辨識圖片中的知名地標。
事前準備
-
如果尚未將 Firebase 新增至應用程式,請按照入門指南中的步驟操作。
<0
- 在 Xcode 中保持開啟應用程式專案,然後依序點選「File」(檔案) 和「Add Packages」(新增 Package)。
- 系統提示時,請新增 Firebase Apple 平台 SDK 存放區:
- 選擇 Firebase ML 程式庫。
- 將
-ObjC
標記新增至目標建構設定的「Other Linker Flags」 部分。 - 完成後,Xcode 會自動開始在背景中解析並下載依附元件。
- 在應用程式中匯入 Firebase:
Swift
import FirebaseMLModelDownloader
Objective-C
@import FirebaseMLModelDownloader;
-
如果尚未為專案啟用雲端 API,請立即啟用:
- 在 Firebase 控制台中開啟「APIs」(API) Firebase ML 頁面。
-
如果尚未將專案升級至即付即用 Blaze 定價方案,請按一下「升級」。只有在專案未採用 Blaze 定價方案時,系統才會提示您升級。
只有採用 Blaze 定價方案的專案才能使用雲端 API。
- 如果尚未啟用雲端 API,請按一下「啟用雲端 API」。
使用 Swift Package Manager 安裝及管理 Firebase 依附元件。
https://github.com/firebase/firebase-ios-sdk.git
接著,請在應用程式中進行一些設定:
設定地標偵測器
根據預設,Cloud 偵測器會使用模型穩定版,並傳回最多 10 項結果。如要變更這些設定,請使用 VisionCloudDetectorOptions
物件指定設定,如下例所示:
Swift
let options = VisionCloudDetectorOptions() options.modelType = .latest options.maxResults = 20
Objective-C
FIRVisionCloudDetectorOptions *options = [[FIRVisionCloudDetectorOptions alloc] init]; options.modelType = FIRVisionCloudModelTypeLatest; options.maxResults = 20;
在下一個步驟中,建立 Cloud 偵測器物件時,請傳遞 VisionCloudDetectorOptions
物件。
執行地標偵測器
如要辨識圖片中的地標,請將圖片做為UIImage
或 CMSampleBufferRef
傳遞至 VisionCloudLandmarkDetector
的 detect(in:)
方法:
- 取得
VisionCloudLandmarkDetector
的例項:Swift
lazy var vision = Vision.vision() let cloudDetector = vision.cloudLandmarkDetector(options: options) // Or, to use the default settings: // let cloudDetector = vision.cloudLandmarkDetector()
Objective-C
FIRVision *vision = [FIRVision vision]; FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector]; // Or, to change the default settings: // FIRVisionCloudLandmarkDetector *landmarkDetector = // [vision cloudLandmarkDetectorWithOptions:options];
-
如要呼叫 Cloud Vision,圖片必須採用 Base64 編碼字串格式。如要處理
UIImage
,請按照下列步驟操作:Swift
guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return } let base64encodedImage = imageData.base64EncodedString()
Objective-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
-
接著,將圖片傳遞至
detect(in:)
方法:Swift
cloudDetector.detect(in: visionImage) { landmarks, error in guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else { // ... return } // Recognized landmarks // ... }
Objective-C
[landmarkDetector detectInImage:image completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks, NSError *error) { if (error != nil) { return; } else if (landmarks != nil) { // Got landmarks } }];
取得辨識出的地標相關資訊
如果地標辨識成功,系統會將VisionCloudLandmark
物件陣列傳遞至完成處理常式。您可以從每個物件取得圖片中辨識到的地標相關資訊。
例如:
Swift
for landmark in landmarks { let landmarkDesc = landmark.landmark let boundingPoly = landmark.frame let entityId = landmark.entityId // A landmark can have multiple locations: for example, the location the image // was taken, and the location of the landmark depicted. for location in landmark.locations { let latitude = location.latitude let longitude = location.longitude } let confidence = landmark.confidence }
Objective-C
for (FIRVisionCloudLandmark *landmark in landmarks) { NSString *landmarkDesc = landmark.landmark; CGRect frame = landmark.frame; NSString *entityId = landmark.entityId; // A landmark can have multiple locations: for example, the location the image // was taken, and the location of the landmark depicted. for (FIRVisionLatitudeLongitude *location in landmark.locations) { double latitude = [location.latitude doubleValue]; double longitude = [location.longitude doubleValue]; } float confidence = [landmark.confidence floatValue]; }
後續步驟
- 在正式環境中部署使用 Cloud API 的應用程式之前,請先採取幾個額外步驟,防範未經授權的 API 存取活動,並減輕其影響。