CoreML 初探

iOS11新加入了非常有科技感的元素：AR以及机器学习。趁着有机器学习的经验，先来体验一次。

准备工作

• Xcode 9
• CoreML Model (Inceptionv3)

主要流程

1. 打开Xcode创建一个空的模板工程

• 将下载好的.mlmodel文件拖入工程，并确保在Target->Build Phases->Complie Sources中看见它。⚠️否则无法使用⚠️
• 基于(懒)快速上手的原因，直接在ViewController中创建一个UIButton,绑定弹出相册方法

  lazy var btn:UIButton = {[unowned self] in
        let btn = UIButton(type: .custom)
        btn.setTitle("select", for: .normal)
        btn.setTitleColor(.black, for: .normal)
        btn.frame.size = CGSize(width: 100, height: 100)
        btn.center = self.view.center
        btn.addTarget(self, action: #selector(handle), for: .touchUpInside)
        return btn
    }()

    @objc private func handle(){
        showAblum()
    }

• 遵守相关协议并实现可选方法获得所选图像
  此处自定义了一个协议 *** canShowAblum*** 给UIViewController默认实现一个弹出方法。

protocol canShowAblum : class,UIImagePickerControllerDelegate,UINavigationControllerDelegate{
    
}
extension canShowAblum where Self : UIViewController{
    func showAblum(){
        let picker = UIImagePickerController()
        picker.delegate = self
        picker.sourceType = .photoLibrary
        picker.allowsEditing = true
        present(picker, animated: true, completion: nil)
    }
}

extension ViewController{
    func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [String : Any]) {
        if let img = info["UIImagePickerControllerOriginalImage"] as? UIImage{
            _ = PictrueLearning(with: img)
        }
        dismiss(animated: true, completion: nil)
    }
}

• 传入图像给训练模型，得到结果
  训练模型封装在结构体PictureLearning中：

struct PictrueLearning {
    
    private init(){}
    
    init(with image:UIImage){
        self.init()
        train(with: image)//.scale(to: CGSize(width: 299, height: 299)))
    }
    
    fileprivate func train(with image:UIImage){
        //���确保模型初始化成功
        guard let img = image.cgImage,let model = try? VNCoreMLModel(for: Inception().model) else {
            return
        }
        //创建请求
        let request = VNCoreMLRequest(model: model) {
            guard $1 == nil,let resArr = $0.results,let res = resArr.first as? VNClassificationObservation else { return }
            print(res.identifier,res.confidence)
        }
        DispatchQueue.global().async {
            //执行
            try? VNImageRequestHandler(cgImage: img).perform([request])
        }
    }
}
extension UIImage{
    func scale(to size:CGSize)->UIImage{
        UIGraphicsBeginImageContext(size)
        draw(in: CGRect(x: 0, y: 0, width: size.width, height: size.height))
        let scaleImage = UIGraphicsGetImageFromCurrentImageContext()
        UIGraphicsEndImageContext()
        return scaleImage ?? UIImage()
    }
}

结果分析

1.尝试了多张图片，发现综合结果较差。 因为无法窥探此模型的内含，只知道是Neural Network Classifier，影响神经网络的精度的参数有很多，准备之后换自己的模型继续尝试。
2.此模型的输入参数要求为

image.png

但传入宽高为<299,299>的处理图片 和 传入原图相比(图片来源于iPhone模拟器),输出结果精度也不同。这个地方还需再研究一下。