Д. Стефенс - C++. Сборник рецептов

is_any_of— это удобный шаблон функции, поставляющийся в составе String Algorithms, которая облегчает жизнь при использовании нескольких разделителей. Он конструирует объект унарной функции, которая возвращает true, если переданный ей аргумент является членом набора. Другими словами:

bool b = is_any_of("abc")('a'); // b = true

Это облегчает проверку нескольких разделителей, не требуя самостоятельного написания объекта функции.

Требуется разбить строку на части, используя набор разделителей.

Для перебора элементов строки и поиска места нахождения следующих лексем и не-лексем используйте методы find_first_ofи first_first_not_of. Пример 4.12 представляет простой класс StringTokenizer, выполняющий эту задачу.

Пример 4.12. Разбиение строки на лексемы

#include

#include

using namespace std;

// Класс, разбивающий строку на лексемы.

class StringTokenizer {

public:

StringTokenizer(const string& s, const char* delim = NULL) :

str_(s), count(-1), begin_(0), end_(0) {

if (!delim)

delim_ = " \f\n\r\t\v"; //по умолчанию пробельные символы

else

delim_ = delim;

// Указывает на первую лексему

begin_ = str_.find_first_not_of(delim);

end_ = str.find_first_of(delim_, begin_);

}

size_t countTokens() {

if (count_ >= 0) // если уже посчитали, то выход

return(count_);

string::size_type n = 0;

string::size_type i = 0;

for (;;) {

// переход на первую лексему

if ((i = str_.find_first_not_of(delim_, i)) == string::npos)

break;

// переход на следующий разделитель

i = str_.find_first_of(delim_, i+1);

n++;

if (i == string::npos) break;

}

return (count_ = n);

}

bool hasMoreTokens() { return(begin_ != end_); }

void nextToken(string& s) {

if (begin_ != string::npos && end_ != string::npos) {

s = str_.substr(begin_, end_-begin_);

begin_ = str_.find_first_not_of(delim_, end_);

end_ = str_.find_first_of(delim_, begin_);

} else if (begin_ != string::npos && end_ == string::npos) {

s = str_.substr(begin_, str_.length()-begin_);

begin_ = str_.find_first_not_of(delim_, end_);

}

}

private:

StringTokenizer() {}

string delim_;

string str_;

int count_;

int begin_;

int end_;

};

int main() {

string s = " razzle dazzle giddyup ";

string tmp;

StringTokenizer st(s);

cout << "Здесь содержится" << st.countTokens() << " лексемы.\n";

while (st.hasMoreTokens()) {

st.nextToken(tmp);

cout << "token = " << trap << '\n';

}

}

Разбиение строки с четко определенной структурой, как в примере 4.10, конечно, хорошо, но не все так просто. Предположим, что, вместо того чтобы просто разделить строку на основе единственного разделителя, требуется разбить строку на лексемы . Наиболее частым вариантом этой задачи является разделение на лексемы с игнорированием пробелов. Пример 4.12 дает реализацию класса StringTokenizer(аналогичного стандартному классу Java™ с таким же именем) для C++, который принимает символы-разделители, но по умолчанию использует пробелы.

Наиболее важные строки в StringTokenizerиспользуют методы find_first_ofи find_first_not_ofшаблона класса basic_string. Их описание и примеры использования даны в рецепте 4.9. Пример 4.12 дает такой вывод.

Здесь содержится 3 лексемы.

token = razzle

token = dazzle

token = giddyup

StringTokenizer— это более гибкая форма функции splitиз примера 4.10. Он поддерживает свое состояние, так что можно просто последовательно переходить с одной лексемы на другую, не разбивая вначале всю строку на части. Также есть возможность подсчитать число лексем.

В StringTokenizerможно внести пару усовершенствований. Во-первых, для простоты StringTokenizerнаписан так, что он работает только с простыми строками — другими словами, строками из узких символов. Если требуется, чтобы один и тот же класс работал как с узкими, так и с широкими символами, параметризуйте тип символов, как это сделано в предыдущих рецептах. Другим улучшением является расширение StringTokenizerтак, чтобы он обеспечивал более дружественное взаимодействие с последовательностями и был более гибок. Вы всегда можете сделать это сами, а можете использовать имеющийся класс разбиения на лексемы. Проект Boost содержит класс tokenizer, делающий все это. За подробностями обратитесь к www.boost.org .

Рецепт 4.24.