위키 검색에서 예상치 못한 문제점이 발생하였다. 1) 모델에서 뱉어내는 개 이름이 정확한 품종의 풀네임이 아닌 경우가 있어서, 위키에서 검색을 잘 못한다. ex) 웰시코기의 경우 풀네임이 Pembroke Welsh Corgi -> Pembroke로는 검색이 안됨. 2) 그리고 위키API에서 없는 페이지의 경우, 특정 페이지가 아닌 링크가 담긴 검색결과가 나온다. 따라서 우선 특정 사이트에서 크롤링하는 방법을 사용하기로 했다. 기존 사이트의 URL을 통해 크롤링을 하려고 하면, 추가 라이브러리를 사용하면 된다. 우선 타겟으로 한 사이트는 다음과 같다. 미국 애견 협회로 세계에서 2번째로 오래되었다고 한다. 그리고 1번의 문제를 해결하기 위해, 위 사이트에서 검색한 결과에서 제일 상단에 위치한 저 Breed..

이전 게시글에서 Flask를 통해 구축한 서버에서, RestAPI를 사용해 DenseNet121모델을 통해 사진을 분류하고 그 결과를 보여주도록 했다. 프로젝트를 위 구조를 이용해서, 개의 사진을 올리면 품종을 알려주고 그에 대한 정보를 주도록 진행하고자 하였다. 일단 개에 대해서 추가학습을 시키는 모델은 팀원에게 맡기고... 나는 결과페이지의 구성을 알차게 하려고 한다. 위키 API 사용하기 우선 분류한 클래스의 결과를 위키피디아에 검색하려고 한다. 찾아보니 위키피디아 API가 존재하였다. 우선 위키피디아 api를 다운받는다. pip install wikipedia -api 내가 숙지한 사용법은 다음과 같다. 위키피디아의 언어를 설정하고, 내가 원하는 페이지를 찾아 데이터를 얻어오는 방식으로 사용하였다..

본 게시글은 PyTorch 공식 홈페이지의 "FLASK로 REST API를 통해 PYTHON에서 PYTORCH 베포"를 진행하면서 작성한 글입니다! 이전 게시글에서는 Flask 서버를 구동하면서 파이썬 코드를 통해 실험해보았었다. import requests resp = requests.post("http://localhost:5000/predict", files={"file": open('_static/cat.jpg','rb')}) resp.json() HTML 렌더링 이번에는 HTML 문서와 연결시켜서 해보겠다. 방법은 간단하다 랜더링이라 하는데 우선 미리 html 문서를 만들어 놓는다. 여기서 주목해야 될 부분은 form 부분이다. 이전에 API에서 POST 형식으로 'file'명칭을 기존 주소 +..

본 게시글은 PyTorch 공식 홈페이지의 "FLASK로 REST API를 통해 PYTHON에서 PYTORCH 베포"를 진행하면서 작성한 글입니다! 이미지 분류 모델 구축 미리 학습된 DenseNet 모델을 통하여, 주어진 이미지 파일이 뭔지 분류하려고 한다. DenseNet 모델은 224x224의 RGB 이미지를 분류하기 때문에, 우선 데이터셋을 정규화해야 한다. import io import torchvision.transforms as transforms from PIL import Image def transform_image(image_bytes): my_transforms = transforms.Compose([transforms.Resize(255), transforms.CenterCrop(..

API(Application Programming Interface, 응용 프로그램 프로그래밍 인터페이스)는 응용 프로그램에서 사용할 수 있도록, 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스를 뜻한다. (위키백과) REST(Representational State Transfer)는 월드 와이드 웹과 같은 분산 하이퍼미디어 시스템을 위한 소프트웨어 아키텍처의 한 형식이다. 제일 큰 의미로는 웹 사이트의 모든 자원 (이미지, 텍스트, DB 등)에 고유한 id (URI)를 부여해 처리하는 것이다. 자원을 이름(표현)으로 구분해서 상태(정보)를 주고 받는데, 자원에 대해 CRUD(Create, Read, Update, Delete)연산을 수행하기 위해 URI로 요청을 보내고 ..

파이토치로 지난번에 만든 사진 분류모델의 성능 향상을 해보려고 한다. Epoch 늘려보기 우선 가장 쉽게 생각한 방법은 Epoch, 즉 사이클 횟수를 높히는 방법이다. 반복횟수를 20번으로 높혀서 실행하고 정확도를 확인해보았다. 구글 Colab에서 CUDA환경을 사용하였기 때문에, Batch-size를 16으로 늘리고 진행하였다. import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) for epoch in range(20): running_loss = 0.0 for i, data in enumerate(trainloader, 0): i..

CNN 즉 합성곱신경망은 고수준의 뉴런이 저수준의 뉴런의 출력에 기반한다는 아이디어에서 나온 개념이다. 기존의 완전연결 층에서는 3차원 데이터를 입력 층에 넣어주기위해 1차원 데이터로 변환했다. 이렇게 1차원으로 변환한 데이터는 공간적인 정보가 사라진 상태라 이미지같은 경우 구조가 깨져버려 정보가 많이 사라져버린다. 따라서 구조 정보를 보존하면서 학습하는 방법으로 등장한게 합성곱 신경망 (CNN)이다. LeCun에 의해 처음 개념이 개발되었고, LeNet이 그 첫번째 구조이다 CNN은 층을 크게 합성곱층(Convolutional Layer)과 풀링층(Pooling Layer)으로 반복하여 구성한다 Convolutional Layers(합성곱층) 합성곱은 3차원 데이터를 필터를 통해 여러 특성을 띄는 채널..

본 게시글은 PyTorch 공식 홈페이지의 "파이토치로 딥러닝하기 : 60분만에 끝장내기"를 진행하면서 작성한 글입니다! 머신 러닝을 하기 위해, 이미지, 텍스트, 오디오, 비디오 등의 데이터를 사용할 때 numpy 배열로 데이터를 로드할 수 있다. 그리고 이 numpy 배열을 Torch.*Tensor로 변환해 Pytorch에서 사용할 수 있다. 이번에 도전해볼 CIFA-10에서의 예제는 R,G,B 3채널의 32*32 크기의 이미지들로 ‘airplane’, ‘automobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’, ‘truck’의 클래스가 섞여있다. 이제 이 10가지 클래스의 사진들을 분류할 수 있도록 학습하는 것이 목표이다. 이러한 데이터..

본 게시글은 PyTorch 공식 홈페이지의 "파이토치로 딥러닝하기 : 60분만에 끝장내기"를 진행하면서 작성한 글입니다! 머신 러닝 (인공 지능)을 활용하면서 가장 많이 들어보는 라이브러리는 텐서플로우와 파이토치일 것이다. 아무래도 라이브러리의 이점은 기울기를 계산해주는거랑, 이미 만들어진 모델 사용 가능 등등 하여튼 엄청나게 편리하다는 점이다. 파이토치와 텐서플로우 모두 사용해 본 적이 없기 때문에 구체적인 비교는 할 수 없고.. 수업에서 파이토치를 사용한다고 해서 파이토치 먼저 학습해보려고 한다... 파이토치 홈페이지에서는 이런 사람들이 파이토치를 사용한다고 한다. NumPy를 대체하면서 GPU를 이용한 연산이 필요한 경우 최대한의 유연성과 속도를 제공하는 딥러닝 연구 플랫폼이 필요한 경우 우선, 가..