ChatGPT

RLHF[1]의 불완전성
정확한 증명과 확실한 답이 나오는 이과적 케이스가 아닌 이상 얘한테 어떤 의견이나 평가 같은 부분은 기대를 안하는 것이 좋다. 애초에 태생적으로 어느쪽이건 다 긍정하고 모든 경우의 수가 다 가능성이 있다고 생각하는 방식으로 만들어져서 의견이나 평가를 물으면 둘다 좋다 내지 엄대엄으로 결론낸다.거기서 더 캐물어 봤자 나오는 대답은 답정너식 뻔한 답변 그 이상도 이하도 아니다

AI 환각[2]
눈치를 본다. 엄대엄일것 같다고 결론을 내린 상황에서 조금 더 몰아붙이면서 누가 이길 것 같냐고 물어보면 갑자기 이전에 제시하지 않았던 증거라던가 존재하지도 않는 자료 같은걸 들고 나와서 '입력한 사람이 듣고 싶어하는 대로' 결론을 만들어준다. 현재 있는 자료나 입력된 정보로는 원하는 정보를 만들 수 없으니 가상의 무언가를 만들어 내서라도 결론을 내려고 하는 것. 이를 할루시네이션이라고도 하는데, 실제로 당해보면 어이털리는 수준을 넘어서 화가 날 정도가 되니 기계가 엄대엄이라고 하면 그냥 그쯤에서 관두자.

메모리를 적극적으로 활용해야 한다. 다른 AI는 흔히 '맥락'이라 일컫는, 대화 기록 전반에 대해 참조한다. GPT의 경우 특정 문장을 반영구적으로 기록시켜 모든 세션에 반영하게끔 할 수 있다.

주제마다 프로젝트 / 세션을 분리시키고, 맞춤형 지침을 제시하라.

사용자의 수준에 대한 정보를 최대한 기억시켜라. 잼민이에게 광합성을 설명함과 대학원생에게 광합성을 설명함은 정보의 양과 질 차이가 크다. 사용자에게 최적화된 답변을 요구하기 위해선 사용자의 정보가 필요하나, GPT는 내부 규정상 사용자에게 개인정보를 요구할 수 없다.

레퍼런스의 형식을 제시하고, 각 문장에 레퍼런스를 요구하라. AI 할루시네이션을 줄임에 도움이 된다.

사용자의 사고 패턴을 학습시켜라. 철학적 딜레마의 경우 스스로의 패턴을 알아내기에도, AI가 사용자를 분석하기에도 좋은 주제이다.

메타적 사고에 활용하라. 양비론적이지 않으면서도 자기비판적인 스탠스를 취하도록 하면 편향되지 않은 답변을 얻을 수 있다.

AI는 도구임을 항상 기억하라. GPT가 무능하다고 느껴진다면, 이는 사용자의 역량과 지식의 부족에서 기인하는 경우가 잦다.

질문을 위계화하라. 논증 중간의 과정이 꼬인다면 전체 답변이 오염된다. 스스로 질문을 위계화함이 어렵다면, 메타적 질문을 하라. "이 질문을 해결하려면 어떤 중간 질문들이 필요할까?"를 예시로 들 수 있다.

반복적으로 이용자를 평가하게끔 하라. AI의 궁극적 목적은 사용자의 역량 향상이다. AI와 사용자가 공진화하는 것이 바람직하다.