코드 실습까지 보니 이해가 더 잘 되는 것 같습니다. 한가지만 질문을...ㅎㅎ 하나의 input이 2개의 정답(왼쪽+오른쪽 단어)을 가지게 되는데 이걸 그냥 tensorflow로 돌려버리면 hidden layer가 하나로 딱 떨어지는게 좀 궁금합니다. input 단어가 왼쪽과 오른쪽 단어로 가기 위한 중간점으로 자동으로 학습하게 되는 걸까요?
오 hallucination을 방지하기위한 grounding techniques는 비전공자 입장에서 처음 들어봐요! 예전에 nlp 수업 들을때 sarcasm 같은 뉘앙스 또한 판별하는 알고리즘을 개발하는 팀이 있다 라는걸 알았을때 크 역시 내가 발견한 문제점은 누군가가 항상 먼저 연구하고 있군 이라고 생각했었는데 그게 기억이 나네요ㅎㅎ
the other tutorials explain confusion matrix only with a two by two table which is incomplete, but with this video we can understand what confusion matrix and harmonic mean really is, epic work
안그래도 ai 모델의 윤리성에 대한 고민이 있었는데, 이미 이 부분에 대해서 보강하려는 움직임이 있었고 그 결과물이 클로드3라는 걸 알게되어 놀랍습니다. 공부만 잘하는 전교 1등과 인성도 좋은 전교1등이라는 비유가 확 와닿네요. 근데 사람들이 압도적으로 챗gpt를 더 많이 쓰고 그만큼 트레이닝할 인풋도 그어떤 모델보다 많을텐데, 클로드3가 챗gpt보다 더 유용성과 윤리성에서 높은 정확성을 보인 부분이 의외고 신기합니다. Harmlessness를 적용한 모델덕분에 압도적인 인풋의 차이를 클로드3가 극복한것인가요?
감사합니다, 저희기 알 수 있는 건 마지믹 챠트에서 볼 수 있듯이, constitutional ai의 rlaif는 harmless를 향상시키는 데 사용되고, helpfullness는 rlhf로 거의 결정됩니다. 클로드3의 학습데이터는 엔트로픽이 공개하지 않는한 알 수 없지만, 아마존 및 다른 굵직한 기업들로부터 큰 투자를 받기 때문에 양질의 데이터를 구할 수 있지 않았나 생각해볼 수 있습니다.
