Sorry for the inconvenient, I'll update the english version soon on my NEW channel "Mrzaizai2k -AI". Pls SUBSCIBE to receive the update ON NEW VIDEOS: ru-vid.com/show-UCFGCVG0P2eLS5jkDaE0vSfA
Sir the explanation is awesome. Thanks Can you tell please more about attention- 1) What type of attention it is ? Is it self attention (giving the weighted sum of attention vector at every time step) 2) What is the reason for applying it just after CNN not apply it after RNN 3) Sir in code you have done the following steps regarding attention - a) Permute b) Dense layer c) Mean (dimensionality reduction) d) Repeat vector 4) Layers multiply It would be great help sir . I can understand dense layer is implementing tanH fucntion but unable to understand reason behind other operations
First, I don't know much about the attention, but I'll try to explain to you what I understand This is the source code of attention that I used. It's in Vietnamese so pls use google translate: pbcquoc.github.io/vietnamese-ocr/ Yes it's self-attention. The weights are updated parallelly with CRNN Attention: lilianweng.github.io/lil-log/2018/06/24/attention-attention.html As in seq-2-seq project, you can see that without attention the path encoder connected to decoder is one path. which means information standing far away from each other (the model or LSTM can not remember the information so far away). In my project, CNN is like encoder and RNN is like decoder. It doesn't make sense to use attention after RNN for a,c and d I guess it's because of tensorflow (the code is not important). For e) multiply is a x h You can mail me directly through bao.mai@thefuturespast.org
Em chào anh ạ. Hiện e đang xây dựng 1 phần mềm tương tự của anh và e có tham khảo qua cách làm của anh. Em đã thử làm theo các bước nhưng kết quả không được như em mong muốn. Cho nên em có một số thắc mắc như sau, mong anh có thể giải đáp giúp em. 1. Dữ liệu của em là chữ đánh máy được in ra chứ không phải là chữ viét tay, cho nên em đã thử cho dữ liệu train của mô hình là các hình ảnh chứa từ đó và label tương ứng. Tuy nhiên sau khi train xong thì mô hình không predict được bất kỳ ký tự nào cả mà hoàn toàn là rỗng. Vấn đề có phải nằm ở dữ liệu đầu vào ko ạ? 2. Em có thể sử dụng bộ dữ liệu của anh cho mục tiêu và đoán nhận chữ đánh máy được không ạ? Em xin cảm ơn
yeah the model is for Vietnamese not for English. If you want to retrain the model. Here is my notebook www.kaggle.com/bomaich/vietnamese-handwritten-ocr-word-dataset. But you have to prepare your own dataset
