нужно удалить одинаковые слова в большом тексте или хотя бы найти их (естественно автоматоматически)

программирование программы текст

в гугле не нашол прог.. есть проги, удаляющие дубликаты файлов.. есть и такие, которые удаляют одинаковые строки в тексте.. но мне надо именно слова...
ворд и опенофис тоже не ищут дубликаты слов...

гдето даже нарыл скрипт на с++, но я не програмёр.. хз как его использовать...(могу при желании показать)
может ктото напишет скрипт в JAVA SCRIPT ? у меня не хватает знаний....
скриптик я бы мог вставить в HTML файлег и использовать..

в общем ищу простой выход из ситуации




Примечание:
Transurf
автозамена чего?
как хотяб найти то дубликаты?
Ответы:
автозамена в ворде на пробелы..))
разбиваем файл так, что бы в одной строке одно слово, а потом "есть и такие, которые удаляют одинаковые строки в тексте".
Помогу, если выложишь этот текстовый файл.
Можно написать консольную прогу, которая ищет одинаковые слова и удаляет их, только нужно примерно знать, что из себя представляет этот текст.
Чем разделены слова? Есть ли в тексте цифры, знаки препинания, спец символы и что делать с ними? Каков тип файла (txt, doc, иное...)? Каков размер файла?
ASManiac
до меня не совсем дошло,  как при запуске  подать имя файла
допустим файл со скриптом 1.py, а файл с тесктом 2.txt
мне в "выполнить" запустить чтоли?
чот туплю
см ссылку. похоже на то что нужно?
ссылку забыл прикрепить, вот она.
rojer опишись в моём новом "вопросе"
Rojer, идея не плоха, но есть ошибка.
Абсолютно одинаковые определения дублируются.
kstati> Абсолютно одинаковые определения дублируются.
верное замечание. исправлено.
что касается вашего подхода - проверять дубликаты таким образом неправильно, цена такой проверки растёт линейно с размером массива.
отписаться, потому что я случайно потерял пароль от "товарищ" и сижу теперь под "товариш" и хочу тебе отдать твои законные 100 баллов за лучший ответ. я тебя должен отблагодарить, ты мне очень помог)
тыкни на мой ник, и увидишь список заданных вопросов
вот эта прога мне помогла
xen:/Cache OCTAGRAM$ apply -a '&' 'printf "%s\n" '\''&1'\' `cat` | sort | uniq -d
в гугле не нашол прог.. есть проги, удаляющие дубликаты файлов.. есть и такие, которые удаляют одинаковые строки в тексте.. но мне надо именно слова...
ворд и опенофис тоже не ищут дубликаты слов...
улучшенная версия apply -a '&' 'printf "%s\n" '\''&1'\' `cat | sed -E 's#[-,.():;]##g'` | sort | uniq -d
ставим таб вместо пробела автозаменой
перегоняем текст в эксэль
сортируем от а до я
ищем одинаковые слова
Вот готовое решение
вообще, это глупо, но как ты еще хотел это запрограммить?
ведь в тексте обычно важен порядок и просто так слова убирать нельзя
если надо убрать дубликаты строчек - это заметно проще


16 лет назад

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.